03 — 模型线 · robot-ai-model

模型自己决定
要不要长大。

NeuroGrow 是一个可以重复训练、测量和扩展的研究系统:训练中自主决定是否长出新突触、 新神经元、新层;拒绝时主模型与优化器状态不受污染。它是一个研究系统,不是能聊天的模型。

  • BPE 8192
  • 12M 汉字语料
  • 1.87M 参数
  • v0.11 冻结 test +1.31% BPB
12M汉字语料(FineWeb2 中文)
1.87M当前模型参数
+1.31%预分配第 5 层 · 冻结 test BPB
5seedsv0.11 正式复现规模

生长机制

三种生长动作,出生时对输出零影响。

新层在 attention.out_proj 与 ffn.down 的输出投影置零,刚接入时满足 h_new = h_old; 新突触/神经元复用已有参数接入。接入后靠梯度逐步解锁能力。

决策流程

1 · 只在内部 holdout 上做配对探针(不碰外部 test);2 · 用 R 条独立探针流估计净收益下界 = 均值 − t 临界值 × 标准误 − 参数成本;

3 · 高于门槛才提交;否则完整回滚模型与 AdamW 状态。每次决策写入账本,失败也保留。

版本演进

从「零接纳」到「等算力不划算」。

每个版本都留下失败记录。结论不是一条上升曲线,而是一连串被证伪的假设。

  1. v0.8 · 2026-10
    UTF-8 字节级预训练 + 三类生长259 token、10 万字语料;首轮 16 步实验零接纳,被诊断为「判据问题」而不是机制问题。
  2. v0.9 · 校准
    配对探针判据强制生长反事实:第 400 步长出 1 层使未见损失改善 −0.0430。100k 语料增长组优于等更新数固定对照;但等算力下固定模型更好。
  3. v0.10 · 数据与规模
    12M 汉字 + 规模扩展 + 分布漂移23k 参数模型在「容量受限 + 分布漂移」下首次接纳生长并全面优于等更新对照;等算力固定训练仍更好。
  4. BPE · 词表
    ByteLevel BPE 819212M 语料 → 10.44M tokens(1.15 汉字/token);首次生成语法通顺的中文句子,但这不是语言能力。
  5. v0.11 · 冻结
    5 seeds × 4 条件 × 30k 步预分配第 5 层在冻结 test 上 +1.31%;中途扩容在等 FLOPs 下不显著。v0.11 静态实验冻结。
  6. v0.12 · 进行中
    顺序知识流 · 自主容量适应阶段 A→B→A→C,控制器看不到边界与域标签;比较 fixed4 / prealloc5 / fixed-time / drift / v0.9 探针。

v0.11 结果

多一层是稳的;中途扩容不是。

25 个 run,seeds 42–46,30k 步;外部 test 只用于最终冻结评估。 下表为配对相对改善(n=5,95% CI)。

比较holdoutval结论
prealloc5 vs fixed4+1.37% [+1.08, +1.66]+1.44% [+1.11, +1.77]可重复且显著
identity5 vs fixed4+1.04% [+0.54, +1.53]+1.06% [+0.44, +1.68]恒等初始化也有效
timed5000 vs fixed4+0.94% [+0.19, +1.69]+0.90% [+0.13, +1.66]中途扩容胜过固定 4 层
timed5000 vs fixed4eq+0.35% [−0.16, +0.86]+0.30% [−0.29, +0.89]等 FLOPs 下不显著
timed5000 vs prealloc5−0.44% [−0.92, +0.04]−0.55% [−1.03, −0.07]等最终参数下偏预分配

还发现:收益是延迟兑现的

生长时刻配对曲线显示:+100 / +300 步为负,+1,000(早)/ +2,000(中)/ +5,000(晚)步才转正。

这解释了 v0.9 短探针为什么看不见层收益,也说明「在线决策」不能靠短探针。

v0.12 协议

未来未知时,模型能自己扩容吗?

v0.11 只证明「需求已知时提前扩容很强」。v0.12 改成顺序知识流: 模型不知道后面会学什么、也不知道阶段什么时候结束。

v0.12 · 顺序知识流 进行中
A1500
B4000
A1000
C3000

域边界对控制器不可见:它只能看到当前 batch 的损失与自身状态。 A / B / C 三个域文档级互斥;tokenizer 只用 A 训练;外部 test 全程冻结。

对照组(缺一不可)

fixed4 · prealloc5 · fixed-time(阶段起点加层)· drift-trigger(损失突增触发)· v0.9 配对探针 · oracle 上界(只作参考)。

当前状态

条件矩阵(fixed4 / prealloc5 / fixed-time / drift / v0.9 探针)正在跑;多 seed 复现与预注册阈值尚未完成。

尚不能下结论。任何「自主扩容有效」的说法都要等 5 seeds 与 CI。

局限

它现在做不到什么。

这一页存在的意义之一是防止过度解读:数字是真的,能力不是。

能力边界

不宣称语言能力:生成文本仍是「真实词串 + 语义不连贯」,短周期训练尤其明显。

不是计算高效的扩容方式:等算力下固定容量训练更好;生长的价值在于未来任务未知时的自适应容量。

不是一个能对话的模型:没有指令微调、没有对齐、没有工具调用。

方法论约束

负面结果保留;失败实验不删;预注册阈值运行后不改;外部 test 只评估一次。

字节级 tokenizer 每汉字约 3 字节、上下文利用率低,BPE 是已知的主要瓶颈之一,但它不改变「该规模加层短期无收益」的结论。

模型线的完整 README 与 v0.11 / v0.12 实验报告暂未上线;这里只放已冻结、可公开复述的结论。