生长机制
三种生长动作,出生时对输出零影响。
新层在 attention.out_proj 与 ffn.down 的输出投影置零,刚接入时满足 h_new = h_old; 新突触/神经元复用已有参数接入。接入后靠梯度逐步解锁能力。
决策流程
1 · 只在内部 holdout 上做配对探针(不碰外部 test);2 · 用 R 条独立探针流估计净收益下界 = 均值 − t 临界值 × 标准误 − 参数成本;
3 · 高于门槛才提交;否则完整回滚模型与 AdamW 状态。每次决策写入账本,失败也保留。
版本演进
从「零接纳」到「等算力不划算」。
每个版本都留下失败记录。结论不是一条上升曲线,而是一连串被证伪的假设。
- v0.8 · 2026-10UTF-8 字节级预训练 + 三类生长259 token、10 万字语料;首轮 16 步实验零接纳,被诊断为「判据问题」而不是机制问题。
- v0.9 · 校准配对探针判据强制生长反事实:第 400 步长出 1 层使未见损失改善 −0.0430。100k 语料增长组优于等更新数固定对照;但等算力下固定模型更好。
- v0.10 · 数据与规模12M 汉字 + 规模扩展 + 分布漂移23k 参数模型在「容量受限 + 分布漂移」下首次接纳生长并全面优于等更新对照;等算力固定训练仍更好。
- BPE · 词表ByteLevel BPE 819212M 语料 → 10.44M tokens(1.15 汉字/token);首次生成语法通顺的中文句子,但这不是语言能力。
- v0.11 · 冻结5 seeds × 4 条件 × 30k 步预分配第 5 层在冻结 test 上 +1.31%;中途扩容在等 FLOPs 下不显著。v0.11 静态实验冻结。
- v0.12 · 进行中顺序知识流 · 自主容量适应阶段 A→B→A→C,控制器看不到边界与域标签;比较 fixed4 / prealloc5 / fixed-time / drift / v0.9 探针。
v0.11 结果
多一层是稳的;中途扩容不是。
25 个 run,seeds 42–46,30k 步;外部 test 只用于最终冻结评估。 下表为配对相对改善(n=5,95% CI)。
| 比较 | holdout | val | 结论 |
|---|---|---|---|
| prealloc5 vs fixed4 | +1.37% [+1.08, +1.66] | +1.44% [+1.11, +1.77] | 可重复且显著 |
| identity5 vs fixed4 | +1.04% [+0.54, +1.53] | +1.06% [+0.44, +1.68] | 恒等初始化也有效 |
| timed5000 vs fixed4 | +0.94% [+0.19, +1.69] | +0.90% [+0.13, +1.66] | 中途扩容胜过固定 4 层 |
| timed5000 vs fixed4eq | +0.35% [−0.16, +0.86] | +0.30% [−0.29, +0.89] | 等 FLOPs 下不显著 |
| timed5000 vs prealloc5 | −0.44% [−0.92, +0.04] | −0.55% [−1.03, −0.07] | 等最终参数下偏预分配 |
还发现:收益是延迟兑现的
生长时刻配对曲线显示:+100 / +300 步为负,+1,000(早)/ +2,000(中)/ +5,000(晚)步才转正。
这解释了 v0.9 短探针为什么看不见层收益,也说明「在线决策」不能靠短探针。
v0.12 协议
未来未知时,模型能自己扩容吗?
v0.11 只证明「需求已知时提前扩容很强」。v0.12 改成顺序知识流: 模型不知道后面会学什么、也不知道阶段什么时候结束。
域边界对控制器不可见:它只能看到当前 batch 的损失与自身状态。 A / B / C 三个域文档级互斥;tokenizer 只用 A 训练;外部 test 全程冻结。
对照组(缺一不可)
fixed4 · prealloc5 · fixed-time(阶段起点加层)· drift-trigger(损失突增触发)· v0.9 配对探针 · oracle 上界(只作参考)。
当前状态
条件矩阵(fixed4 / prealloc5 / fixed-time / drift / v0.9 探针)正在跑;多 seed 复现与预注册阈值尚未完成。
尚不能下结论。任何「自主扩容有效」的说法都要等 5 seeds 与 CI。
局限
它现在做不到什么。
这一页存在的意义之一是防止过度解读:数字是真的,能力不是。
能力边界
不宣称语言能力:生成文本仍是「真实词串 + 语义不连贯」,短周期训练尤其明显。
不是计算高效的扩容方式:等算力下固定容量训练更好;生长的价值在于未来任务未知时的自适应容量。
不是一个能对话的模型:没有指令微调、没有对齐、没有工具调用。
方法论约束
负面结果保留;失败实验不删;预注册阈值运行后不改;外部 test 只评估一次。
字节级 tokenizer 每汉字约 3 字节、上下文利用率低,BPE 是已知的主要瓶颈之一,但它不改变「该规模加层短期无收益」的结论。
模型线的完整 README 与 v0.11 / v0.12 实验报告暂未上线;这里只放已冻结、可公开复述的结论。