训练侧的花样 · MTP、FP8、Muon · AI 大模型解构

两个模型架构图一模一样，训练方式也能拉开差距。看不改推理样子、却决定「训得多快多省多好」的三个花样：DeepSeek 的多 token 预测(MTP)、FP8 低精度训练，以及 Kimi 首次大规模押注的 Muon 优化器。

训练侧的花样 · MTP、FP8、Muon

前面几章拆的都是「模型长什么样」。但有一类差异，在架构图上根本看不见——它藏在怎么训练里。两个结构一模一样的模型，训练方式不同，成本和质量能差出一大截。这一章挑三个最有代表性的花样。它们有个共同点：不改变模型推理时的样子，只影响「训得多快、多省、多好」。

MTP：一次预测好几个 token

回忆 nanoGPT 的训练：每个位置，模型只预测下一个 token，和真实答案比、算 loss。这是几十年的标准做法。

多 token 预测(Multi-Token Prediction， MTP) 问：为什么一次只预测一个？让每个位置同时预测未来好几个 token 呢？ 加几个额外的预测头，一个管「下一个」、一个管「下下个」……

Gloeckle et al.(Meta， 2024) 证明这么做有两重好处：

样本效率更高：逼模型「往前多想几步」，学到的表示更有规划性，同样的数据能学得更好；
推理还能白捡个加速：那些「预测未来」的头，天然适合做投机解码(speculative decoding)——先让它一口气猜几个，再让主模型验证，验证通过就一次吐好几个，生成变快。

DeepSeek-V3 把 MTP 用作训练目标（预测未来 2 个 token），既提升了主模型质量，又为推理留了投机解码的抓手。训练完，那个 MTP 模块可以留着加速、也可以扔掉——主模型本身的架构没变。这就是典型的「训练侧花样」：占的是训练时的便宜，不进推理时的架构图。

FP8：用 8 位浮点训练，把成本砍半

模型训练要在数值精度和成本之间权衡。大多数模型用 bf16 / fp16（16 位浮点）训练。DeepSeek-V3 更进一步：大部分计算用 FP8（8 位浮点）。

这是什么概念？位数减半，显存和带宽的压力就大致减半——对一个 671B、烧几百万美元电费的训练来说，这是实打实的省钱。但 FP8 极难驾驭：8 位能表示的数值范围窄得可怜，稍不留神就「精度不够、数值溢出/归零」，训练直接崩。

DeepSeek-V3 的贡献，是把 FP8 训练在 671B 这个规模上真正跑通了：靠细粒度的分块缩放（不同区块各自选合适的数值范围）等一整套精细手艺，把精度损失压到可接受。它是「FP8 能训超大模型」这件事的一个里程碑，也是 DeepSeek-V3 训练成本出奇低的关键拼图之一。

把 DeepSeek-V3 的省钱账拼起来看，特别能说明「差异是叠出来的」：MLA（省 KV 缓存）+ 细粒度 MoE（省激活算力）+ 无辅助损失均衡（不牺牲质量地均衡）+ FP8（省训练精度成本）+ MTP（提样本效率）。没有哪一招是「银弹」，是这一串选择共同造就了「又强又便宜」。读架构，读的就是这种组合拳。

Muon：换个优化器，赌「更聪明的每一步」

几乎所有 LLM 都用 AdamW 优化器（nanoGPT 也是，后面那个专栏会逐行讲它）。它久经考验，是默认中的默认。

Muon(Keller Jordan et al.， 2024) 是个新优化器，思路是对参数更新做「正交化」（用 Newton-Schulz 迭代把动量矩阵近似正交化），让每一步更新的「方向」更有效、信息利用更充分——同样的步数，走得更远、更准。

它的分水岭时刻是 Kimi K2(Moonshot， 2025)：第一次在 1T 参数这种超大规模、生产级训练里押注 Muon（此前 Muon 只在 ~16B 级别验证过）。这是一个很干脆的赌注：与其堆更多算力，不如用更聪明的优化器，把每一步的价值榨干。 Moonshot 还专门写了篇《Muon is Scalable for LLM Training》论证它能扛住大规模。

Muon 能不能像 AdamW 那样成为新默认，还得时间检验。但它代表了一个常被忽视的差异轴：优化器——模型架构之外，「怎么走下山」这件事本身，也是各家可以下注的地方。

小结：看不见，但很关键

这三个花样——MTP、FP8、Muon——都不出现在架构图里，却分别动了训练目标、数值精度、优化器。它们提醒我们：

「模型架构」只是故事的一半。同一副骨架，用不同的目标、精度、优化器去训，得到的成本和质量可以天差地别。 尤其 DeepSeek 的低成本奇迹，一大半功劳在这些「训练侧」的组合上。

架构维度和训练维度都铺开了。还剩最后一撮「小执念」——宽还是深、注意力里那个古老的 bias、attention sink、词表大小——它们各自不大，但凑起来也是各家的指纹。这是收尾前的最后一块拼图。👉 宽还是深，以及那些小执念

参考文献

[1] Gloeckle et al. (Meta). “Better & Faster Large Language Models via Multi-token Prediction.” 2024. arXiv:2404.19737. —— MTP。
[2] DeepSeek-AI. “DeepSeek-V3 Technical Report.” 2024. arXiv:2412.19437. —— MTP 训练目标 + FP8 大规模训练。
[3] Micikevicius et al. “Mixed Precision Training.” ICLR 2018. arXiv:1710.03740. —— 混合精度训练的基础。
[4] Liu et al. (Moonshot AI). “Muon is Scalable for LLM Training.” 2025. arXiv:2502.16982. —— Muon 的大规模可扩展性（Kimi K2 背景）。
[5] Loshchilov & Hutter. “Decoupled Weight Decay Regularization (AdamW).” ICLR 2019. arXiv:1711.05101. —— 作为对照的主流优化器。

训练侧的花样 · MTP、FP8、Muon