一张大表 + 趋势
把所有维度收进一张对比表，再收束贯穿全篇的两条主线与几个大趋势——MLA 上位、MoE 统治、共享专家之争、QK-Norm 成标配、Post-Norm 回潮。读完你手里就有了一把「拆任何新模型」的尺子。
一张大表 + 趋势
走到终点。这一章不引入新东西，只做两件事：把散落各章的对比汇成一张总表，再把贯穿全篇的主线与趋势收个尾。
总表：一眼看全各家的下注
具体数字会随版本变；下表记的是架构层面的选择倾向。看的时候，盯着列（维度）竖着比，差异最扎眼。
| 模型 | 注意力 | 位置 | 归一化 | 前馈 | 签名 |
|---|---|---|---|---|---|
| DeepSeek-V3 | MLA | RoPE | RMSNorm · Pre | MoE 256/8**+1 共享** | MLA + FP8 + MTP，低成本 |
| Llama 3 | GQA | RoPE | RMSNorm · Pre | 稠密 SwiGLU | 标准基线 |
| Llama 4 | GQA | RoPE | RMSNorm · Pre | MoE 8/2 大 · 无共享 · 交替 | 少而大 |
| Qwen3（稠密） | GQA + QK-Norm | RoPE | RMSNorm · Pre | 稠密 SwiGLU · 大词表 | 偏深、多语言 |
| Qwen3(MoE) | GQA + QK-Norm | RoPE | RMSNorm · Pre | MoE · 无共享 | 敢做减法 |
| GLM-4.5 | GQA + QK-Norm | RoPE | RMSNorm · Pre | MoE · 共享 · 前几层稠密 | 借力 DeepSeek |
| Gemma 3 | GQA + 滑窗 5:1 | RoPE | RMSNorm · 三明治 | 稠密 SwiGLU | 局部注意力省显存 |
| Mistral Small 3.1 | GQA（弃滑窗） | RoPE | RMSNorm · Pre | 稠密 SwiGLU | 低延迟优先 |
| OLMo 2 | MHA + QK-Norm | RoPE | RMSNorm · Post | 稠密 SwiGLU | 逆共识、全透明 |
| GPT-OSS | GQA + 滑窗 + sink | RoPE | RMSNorm · Pre | MoE · 无共享 | 宽 > 深 |
| Kimi K2 | MLA | RoPE | RMSNorm · Pre | MoE · 共享 · 更多专家 | 1T，Muon |
把这张表和第二章「共同骨架」那张「六维地图」对着看：RoPE 一列几乎全同，SwiGLU 几乎全同，Pre-Norm 大面积相同——它们「有多像」一目了然；真正的分歧，集中在注意力和前馈那两列。
五个趋势
从这张表里，能读出几条清晰的时代趋势：
-
注意力：MLA 正在上位。 GQA 仍是绝对主流的「默认」，但 DeepSeek 用消融证明了 MLA 既更省又更好，Kimi K2 把它放大到 1T。省 KV 缓存这条线，MLA 是目前的技术高点；滑动窗口则是与之正交的补充（Gemma、GPT-OSS），但也有人(Mistral)嫌它麻烦而弃用。
-
前馈：MoE 统治了前沿。 几乎所有大杯都转向 MoE，稠密退守中小规模。MoE 让「参数堆到天上、推理还算得起」成为常态。
-
共享专家：仍在争论。 DeepSeek / GLM / Kimi 坚持用，Qwen3 主动砍掉。这是当下少有的「一家珍视、一家放弃」的活跃分歧点——说明它的价值还没有定论。
-
归一化：QK-Norm 成新标配，Post-Norm 回潮。 QK-Norm 从视觉模型扩散到 Qwen3 / OLMo 2 / Gemma / GLM / GPT-OSS，俨然下一个「出厂设置」；而 OLMo 2 用改良 Post-Norm、Gemma 用三明治，说明连「Norm 放哪儿」这个老共识都被重新拿出来审视。
-
其余大面积收敛。 RoPE、RMSNorm、SwiGLU、去 bias、Pre-Norm 残差——这些早已是共识，新模型在这些地方基本不再折腾。创新的水位，整体上移到了「注意力怎么省」和「前馈怎么稀疏」这两处。
两条主线，一句收束
如果整个专栏只让你带走一句话，就是这句：
2024–2025 的开源大模型，是在同一副 GPT 骨架上，围绕「省 KV 缓存」和「稀疏化 MoE」这两条主线各自下注的结果。 前者决定它推理时多省，后者决定它参数能堆多高而算力不爆。其余维度（归一化、位置、训练侧、小执念）是重要的配平，但不改变这个大格局。
你带走的，是一把尺子
回到序言立的 flag：这个专栏不想让你「记住一堆模型名字」，而想给你一把尺子。现在你有了。下次任何一个新模型的技术报告拍到你面前，你可以顺着这几刀切下去：
- 注意力：MHA / GQA / MLA？有没有滑窗？
- 前馈：稠密还是 MoE？MoE 的话——专家多而小还是少而大？激活几个？有没有共享专家？怎么均衡？
- 归一化：Pre / Post / 三明治？有没有 QK-Norm?
- 位置与长上下文：RoPE？怎么外推？
- 训练侧与小执念：有没有 MTP / FP8 / 新优化器？宽还是深？词表多大？
十分钟，你就能给任何一个新模型「验明正身」——它像谁、在哪儿与众不同、为什么。 这，就是「解构」的意义：大模型不再是玄学的黑箱，而是一张你能逐项追问、逐项打分的选择清单。
至此，《AI 大模型解构》全篇完。如果它让你在下次看到「某某模型用了 MLA + 无共享专家 MoE」时会心一笑、而不再一脸懵——那它就没白写。
参考文献
本章为全篇汇总，主要参考：
- Raschka, S. “The Big LLM Architecture Comparison.” 2025. https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison —— 横向对比框架与多处架构事实。
- 各模型技术报告：DeepSeek-V3(arXiv:2412.19437)、Llama 3(arXiv:2407.21783)、Qwen2.5(arXiv:2412.15115)、Qwen3(arXiv:2505.09388)、GLM(arXiv:2406.12793)、Gemma 2(arXiv:2408.00118)、OLMo 2(arXiv:2501.00656)、Mistral 7B(arXiv:2310.06825)。
- 各技术专文：MLA/DeepSeek-V2(arXiv:2405.04434)、GQA(arXiv:2305.13245)、MQA(arXiv:1911.02150)、DeepSeekMoE(arXiv:2401.06066)、无辅助损失均衡(arXiv:2408.15664)、RoPE(arXiv:2104.09864)、YaRN(arXiv:2309.00071)、NoPE(arXiv:2305.19466)、RMSNorm(arXiv:1910.07467)、SwiGLU(arXiv:2002.05202)、MTP(arXiv:2404.19737)、attention sink(arXiv:2309.17453)、Muon(arXiv:2502.16982)。
（各章文末另附有该章直接引用的文献。）