# 一张大表 + 趋势

> 把所有维度收进一张对比表，再收束贯穿全篇的两条主线与几个大趋势——MLA 上位、MoE 统治、共享专家之争、QK-Norm 成标配、Post-Norm 回潮。读完你手里就有了一把「拆任何新模型」的尺子。

- 作者：David（道雾轩）
- 专栏：AI 大模型解构（https://daiw.org/manual/llm-anatomy.md）
- 最后更新：2026-07-13
- 原文：https://daiw.org/manual/llm-anatomy/recap-and-trends
- 转载与引用：请注明出处并附原文链接（https://daiw.org/about/copyright）

# 一张大表 + 趋势

走到终点。这一章不引入新东西，只做两件事：把散落各章的对比**汇成一张总表**，再把贯穿全篇的**主线与趋势**收个尾。

## 总表：一眼看全各家的下注

<Callout type="info">
  具体数字会随版本变；下表记的是**架构层面的选择倾向**。看的时候，盯着列（维度）竖着比，差异最扎眼。
</Callout>

| 模型 | 注意力 | 位置 | 归一化 | 前馈 | 签名 |
| --- | --- | --- | --- | --- | --- |
| **DeepSeek-V3** | **MLA** | RoPE | RMSNorm · Pre | MoE 256/8**+1 共享** | MLA + FP8 + MTP，低成本 |
| **Llama 3** | GQA | RoPE | RMSNorm · Pre | 稠密 SwiGLU | 标准基线 |
| **Llama 4** | GQA | RoPE | RMSNorm · Pre | MoE 8/2 大 · 无共享 · 交替 | 少而大 |
| **Qwen3（稠密）** | GQA + QK-Norm | RoPE | RMSNorm · Pre | 稠密 SwiGLU · 大词表 | 偏深、多语言 |
| **Qwen3(MoE)** | GQA + QK-Norm | RoPE | RMSNorm · Pre | MoE · **无共享** | 敢做减法 |
| **GLM-4.5** | GQA + QK-Norm | RoPE | RMSNorm · Pre | MoE · 共享 · **前几层稠密** | 借力 DeepSeek |
| **Gemma 3** | GQA + **滑窗 5:1** | RoPE | RMSNorm · **三明治** | 稠密 SwiGLU | 局部注意力省显存 |
| **Mistral Small 3.1** | GQA（**弃滑窗**） | RoPE | RMSNorm · Pre | 稠密 SwiGLU | 低延迟优先 |
| **OLMo 2** | **MHA** + QK-Norm | RoPE | RMSNorm · **Post** | 稠密 SwiGLU | 逆共识、全透明 |
| **GPT-OSS** | GQA + 滑窗 + **sink** | RoPE | RMSNorm · Pre | MoE · 无共享 | **宽** > 深 |
| **Kimi K2** | **MLA** | RoPE | RMSNorm · Pre | MoE · 共享 · 更多专家 | 1T，**Muon** |

把这张表和第二章[「共同骨架」](https://daiw.org/manual/llm-anatomy/common-skeleton)那张「六维地图」对着看：**RoPE 一列几乎全同，SwiGLU 几乎全同，Pre-Norm 大面积相同——它们「有多像」一目了然；真正的分歧，集中在注意力和前馈那两列。**

## 五个趋势

从这张表里，能读出几条清晰的时代趋势：

1. **注意力：MLA 正在上位。** GQA 仍是绝对主流的「默认」，但 DeepSeek 用消融证明了 **MLA 既更省又更好**，Kimi K2 把它放大到 1T。省 KV 缓存这条线，MLA 是目前的技术高点；滑动窗口则是与之正交的补充（Gemma、GPT-OSS），但也有人(Mistral)嫌它麻烦而弃用。

2. **前馈：MoE 统治了前沿。** 几乎所有大杯都转向 MoE，稠密退守中小规模。MoE 让「参数堆到天上、推理还算得起」成为常态。

3. **共享专家：仍在争论。** DeepSeek / GLM / Kimi 坚持用，Qwen3 主动砍掉。这是当下少有的「一家珍视、一家放弃」的活跃分歧点——说明它的价值还没有定论。

4. **归一化：QK-Norm 成新标配，Post-Norm 回潮。** QK-Norm 从视觉模型扩散到 Qwen3 / OLMo 2 / Gemma / GLM / GPT-OSS，俨然下一个「出厂设置」；而 OLMo 2 用改良 Post-Norm、Gemma 用三明治，说明连「Norm 放哪儿」这个老共识都被重新拿出来审视。

5. **其余大面积收敛。** RoPE、RMSNorm、SwiGLU、去 bias、Pre-Norm 残差——这些早已是共识，新模型在这些地方基本不再折腾。**创新的水位，整体上移到了「注意力怎么省」和「前馈怎么稀疏」这两处。**

## 两条主线，一句收束

如果整个专栏只让你带走一句话，就是这句：

> **2024–2025 的开源大模型，是在**同一副 GPT 骨架**上，围绕**「省 KV 缓存」**和**「稀疏化 MoE」**这两条主线各自下注的结果。** 前者决定它推理时多省，后者决定它参数能堆多高而算力不爆。其余维度（归一化、位置、训练侧、小执念）是重要的配平，但不改变这个大格局。

## 你带走的，是一把尺子

回到[序言](https://daiw.org/manual/llm-anatomy)立的 flag：这个专栏不想让你「记住一堆模型名字」，而想给你**一把尺子**。现在你有了。下次任何一个新模型的技术报告拍到你面前，你可以顺着这几刀切下去：

- 注意力：MHA / GQA / MLA？有没有滑窗？
- 前馈：稠密还是 MoE？MoE 的话——专家多而小还是少而大？激活几个？有没有共享专家？怎么均衡？
- 归一化：Pre / Post / 三明治？有没有 QK-Norm?
- 位置与长上下文：RoPE？怎么外推？
- 训练侧与小执念：有没有 MTP / FP8 / 新优化器？宽还是深？词表多大？

**十分钟，你就能给任何一个新模型「验明正身」——它像谁、在哪儿与众不同、为什么。** 这，就是「解构」的意义：大模型不再是玄学的黑箱，而是一张你能逐项追问、逐项打分的**选择清单**。

至此，《AI 大模型解构》全篇完。如果它让你在下次看到「某某模型用了 MLA + 无共享专家 MoE」时会心一笑、而不再一脸懵——那它就没白写。

## 参考文献

本章为全篇汇总，主要参考：

- Raschka, S. “The Big LLM Architecture Comparison.” 2025. https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison —— 横向对比框架与多处架构事实。
- 各模型技术报告：DeepSeek-V3(arXiv:2412.19437)、Llama 3(arXiv:2407.21783)、Qwen2.5(arXiv:2412.15115)、Qwen3(arXiv:2505.09388)、GLM(arXiv:2406.12793)、Gemma 2(arXiv:2408.00118)、OLMo 2(arXiv:2501.00656)、Mistral 7B(arXiv:2310.06825)。
- 各技术专文：MLA/DeepSeek-V2(arXiv:2405.04434)、GQA(arXiv:2305.13245)、MQA(arXiv:1911.02150)、DeepSeekMoE(arXiv:2401.06066)、无辅助损失均衡(arXiv:2408.15664)、RoPE(arXiv:2104.09864)、YaRN(arXiv:2309.00071)、NoPE(arXiv:2305.19466)、RMSNorm(arXiv:1910.07467)、SwiGLU(arXiv:2002.05202)、MTP(arXiv:2404.19737)、attention sink(arXiv:2309.17453)、Muon(arXiv:2502.16982)。

（各章文末另附有该章直接引用的文献。）