四张脸谱 · DeepSeek / Llama / Qwen / GLM 的组合拳
把散落在各维度的选择收拢成整体——DeepSeek 的「效率最大化」、Llama 的「务实标准派」、Qwen 的「多语言 + 从简」、GLM 的「借力 DeepSeek、稳字当头」。每个模型的性格，是它一连串取舍叠出来的。
四张脸谱 · DeepSeek / Llama / Qwen / GLM 的组合拳
前面我们一直「横切」——一维一维地对比。这一章反过来「竖看」：把每个模型散落在各维度的选择收拢成一个整体，看它作为一个「人」的性格。你会发现，每个模型的风格，不是某一个绝招，而是一连串取舍叠出来的组合拳。
DeepSeek(V3)：效率最大化的偏执狂
一句话性格：每一个选择，都在问「怎么用更少，办更多」。
把 DeepSeek-V3 的选择连起来看，主题惊人地一致：
- MLA：把 KV 缓存压到比 GQA 还小，质量还反超 MHA；
- 细粒度 MoE（256 专家 / 激活 8+1、含共享专家）：极致专精，671B 只激活 37B；
- 无辅助损失均衡：不牺牲质量地解决 MoE 负载；
- 前 3 层稠密：稳住训练地基；
- FP8 训练 + MTP：把训练成本和样本效率再榨一道。
签名动作：MLA + 那个著名的「低成本」。 DeepSeek 证明了「顶尖大模型」和「训得起、跑得起」不矛盾——靠的不是某一招，而是省 KV 缓存、省激活、省精度、省样本这一整套叠满 buff 的组合。它是这份名单里旗帜鲜明的「效率派」。
Llama(3 → 4)：务实的标准制定者
一句话性格：不追新奇，把成熟方案做扎实，顺手定义「默认」。
- Llama 3：一个教科书级的稠密 GQA 模型——RoPE、RMSNorm、Pre-Norm、SwiGLU、无 bias，干净、标准、开放。它某种程度上就是本专栏「共同骨架」那张表的活标本，也是无数模型的对标基线。
- Llama 4：转向 MoE，但走的是保守路线——8 个大专家、激活 2 个、无共享专家、MoE 与稠密层交替。相比 DeepSeek 的「多而小」，Llama 4 是「少而大」的经典派。
签名动作：定义默认。 Llama 的价值常不在「最先」，而在「最稳、最开放、最好复现」。它是那种「你不确定该怎么选时，照它抄准没错」的标准件。
Qwen(2.5 → 3)：多语言底色，敢做减法
一句话性格：为多语言（尤其中文）而生，且不迷信复杂。
- 大词表(~151K)：覆盖中文/多语言/代码更好——这是它「服务谁」写在脸上的印记；
- Qwen2 给 QKV 加回 bias：为长度外推；
- QK-Norm、偏深的结构：求稳、求抽象深度；
- MoE 版本主动砍掉共享专家：DeepSeek 视若珍宝的东西，Qwen 觉得收益不明、图简单去掉了。
签名动作：敢做减法。 在「大家都加共享专家」时它敢减，在「大家都去 bias」时它敢留——Qwen 的判断不随大流，一切服从「我这套配方和目标下，到底值不值」。加上多语言底色，它是名单里最「实用主义」的一家。
GLM(4.5)：借力打力，稳字当头
一句话性格：把别人验证过的好东西拿来，拼一套稳的。
- MoE + 共享专家、前几层稠密：这两招明说借鉴自 DeepSeek——「大 MoE 里，稠密的头几层能改善收敛稳定性」；
- GQA + QK-Norm：主流稳妥组合；
- 保留了 GPT-2 时代的注意力 bias：一点传承的执念。
签名动作：站在巨人肩上求稳。 GLM-4.5 不追求哪一维「最激进」，而是把 DeepSeek 等验证过的稳定性设计组装起来，做一个可靠的大 MoE。它代表了一种健康的工程心态：创新不必事事原创，把对的东西拼对，也是本事。
四张脸谱，一张对照
| 模型 | 注意力 | 前馈 | 签名性格 |
|---|---|---|---|
| DeepSeek-V3 | MLA | 细粒度 MoE（256/8+1，共享） | 效率最大化 |
| Llama 3 / 4 | GQA | 3 稠密 → 4 转 MoE（8/2，大，无共享） | 务实标准派 |
| Qwen 2.5 / 3 | GQA(+QKV bias) | 稠密 + MoE（砍共享），大词表 | 多语言 + 做减法 |
| GLM-4.5 | GQA | MoE（共享 + 前几层稠密，借鉴 DeepSeek） | 借力求稳 |
看到了吗？同样的六个维度，四种填法，四种性格。 这正是本专栏想让你获得的能力：拿到任何一个新模型的技术报告，你都能顺着这几个维度快速定位它「像谁、在哪儿下了不一样的注、为什么」。
最后一章，我们把所有维度汇成一张总表，并收束贯穿全篇的两条主线与几个大趋势，给这趟「解构之旅」画个句号。👉 一张大表 + 趋势
参考文献
- [1] DeepSeek-AI. “DeepSeek-V3 Technical Report.” 2024. arXiv:2412.19437.
- [2] Grattafiori et al. (Meta). “The Llama 3 Herd of Models.” 2024. arXiv:2407.21783.
- [3] Qwen Team. “Qwen2.5 Technical Report.” 2024. arXiv:2412.15115.
- [4] Team GLM, Zhipu AI. “ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools.” 2024. arXiv:2406.12793.
- [5] Raschka, S. “The Big LLM Architecture Comparison.” 2025. https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison