# 训练侧的花样 · MTP、FP8、Muon

> 两个模型架构图一模一样，训练方式也能拉开差距。看不改推理样子、却决定「训得多快多省多好」的三个花样：DeepSeek 的多 token 预测(MTP)、FP8 低精度训练，以及 Kimi 首次大规模押注的 Muon 优化器。

- 作者：David（道雾轩）
- 专栏：AI 大模型解构（https://daiw.org/manual/llm-anatomy.md）
- 最后更新：2026-07-13
- 原文：https://daiw.org/manual/llm-anatomy/training-tricks
- 转载与引用：请注明出处并附原文链接（https://daiw.org/about/copyright）

# 训练侧的花样 · MTP、FP8、Muon

前面几章拆的都是「模型长什么样」。但有一类差异，**在架构图上根本看不见**——它藏在**怎么训练**里。两个结构一模一样的模型，训练方式不同，成本和质量能差出一大截。这一章挑三个最有代表性的花样。它们有个共同点：**不改变模型推理时的样子，只影响「训得多快、多省、多好」。**

## MTP：一次预测好几个 token

回忆 [nanoGPT 的训练](https://daiw.org/manual/nanogpt/model-overview)：每个位置，模型只预测**下一个** token，和真实答案比、算 loss。这是几十年的标准做法。

**多 token 预测(Multi-Token Prediction， MTP)** 问：为什么一次只预测一个？**让每个位置同时预测未来好几个 token 呢？** 加几个额外的预测头，一个管「下一个」、一个管「下下个」……

**Gloeckle et al.(Meta， 2024)** 证明这么做有两重好处：

1. **样本效率更高**：逼模型「往前多想几步」，学到的表示更有规划性，同样的数据能学得更好；
2. **推理还能白捡个加速**：那些「预测未来」的头，天然适合做**投机解码(speculative decoding)**——先让它一口气猜几个，再让主模型验证，验证通过就一次吐好几个，生成变快。

**DeepSeek-V3 把 MTP 用作训练目标**（预测未来 2 个 token），既提升了主模型质量，又为推理留了投机解码的抓手。训练完，那个 MTP 模块可以留着加速、也可以扔掉——**主模型本身的架构没变**。这就是典型的「训练侧花样」：占的是训练时的便宜，不进推理时的架构图。

## FP8：用 8 位浮点训练，把成本砍半

模型训练要在**数值精度**和**成本**之间权衡。大多数模型用 **bf16 / fp16**（16 位浮点）训练。DeepSeek-V3 更进一步：**大部分计算用 FP8（8 位浮点）**。

这是什么概念？**位数减半，显存和带宽的压力就大致减半**——对一个 671B、烧几百万美元电费的训练来说，这是实打实的省钱。但 FP8 极难驾驭：**8 位能表示的数值范围窄得可怜**，稍不留神就「精度不够、数值溢出/归零」，训练直接崩。

DeepSeek-V3 的贡献，是把 FP8 训练**在 671B 这个规模上真正跑通了**：靠**细粒度的分块缩放**（不同区块各自选合适的数值范围）等一整套精细手艺，把精度损失压到可接受。它是「FP8 能训超大模型」这件事的一个里程碑，也是 **DeepSeek-V3 训练成本出奇低**的关键拼图之一。

<Callout type="info">
  把 DeepSeek-V3 的省钱账拼起来看，特别能说明「差异是叠出来的」：**MLA**（省 KV 缓存）+ **细粒度 MoE**（省激活算力）+ **无辅助损失均衡**（不牺牲质量地均衡）+ **FP8**（省训练精度成本）+ **MTP**（提样本效率）。没有哪一招是「银弹」，是这一串选择**共同**造就了「又强又便宜」。读架构，读的就是这种组合拳。
</Callout>

## Muon：换个优化器，赌「更聪明的每一步」

几乎所有 LLM 都用 **AdamW** 优化器（nanoGPT 也是，后面那个专栏会逐行讲它）。它久经考验，是默认中的默认。

**Muon(Keller Jordan et al.， 2024)** 是个新优化器，思路是**对参数更新做「正交化」**（用 Newton-Schulz 迭代把动量矩阵近似正交化），让每一步更新的「方向」更有效、信息利用更充分——**同样的步数，走得更远、更准**。

它的分水岭时刻是 **Kimi K2(Moonshot， 2025)**：**第一次在 1T 参数这种超大规模、生产级训练里押注 Muon**（此前 Muon 只在 ~16B 级别验证过）。这是一个很干脆的赌注：**与其堆更多算力，不如用更聪明的优化器，把每一步的价值榨干。** Moonshot 还专门写了篇《Muon is Scalable for LLM Training》论证它能扛住大规模。

Muon 能不能像 AdamW 那样成为新默认，还得时间检验。但它代表了一个常被忽视的差异轴：**优化器**——模型架构之外，「怎么走下山」这件事本身，也是各家可以下注的地方。

## 小结：看不见，但很关键

这三个花样——MTP、FP8、Muon——都不出现在架构图里，却分别动了**训练目标、数值精度、优化器**。它们提醒我们：

> **「模型架构」只是故事的一半。同一副骨架，用不同的目标、精度、优化器去训，得到的成本和质量可以天差地别。** 尤其 DeepSeek 的低成本奇迹，一大半功劳在这些「训练侧」的组合上。

架构维度和训练维度都铺开了。还剩最后一撮「小执念」——宽还是深、注意力里那个古老的 bias、attention sink、词表大小——它们各自不大，但凑起来也是各家的指纹。这是收尾前的最后一块拼图。👉 [宽还是深，以及那些小执念](https://daiw.org/manual/llm-anatomy/width-depth-quirks)

## 参考文献

- [1] Gloeckle et al. (Meta). “Better & Faster Large Language Models via Multi-token Prediction.” 2024. arXiv:2404.19737. —— MTP。
- [2] DeepSeek-AI. “DeepSeek-V3 Technical Report.” 2024. arXiv:2412.19437. —— MTP 训练目标 + FP8 大规模训练。
- [3] Micikevicius et al. “Mixed Precision Training.” ICLR 2018. arXiv:1710.03740. —— 混合精度训练的基础。
- [4] Liu et al. (Moonshot AI). “Muon is Scalable for LLM Training.” 2025. arXiv:2502.16982. —— Muon 的大规模可扩展性（Kimi K2 背景）。
- [5] Loshchilov & Hutter. “Decoupled Weight Decay Regularization (AdamW).” ICLR 2019. arXiv:1711.05101. —— 作为对照的主流优化器。