# 四张脸谱 · DeepSeek / Llama / Qwen / GLM 的组合拳

> 把散落在各维度的选择收拢成整体——DeepSeek 的「效率最大化」、Llama 的「务实标准派」、Qwen 的「多语言 + 从简」、GLM 的「借力 DeepSeek、稳字当头」。每个模型的性格，是它一连串取舍叠出来的。

- 作者：David（道雾轩）
- 专栏：AI 大模型解构（https://daiw.org/manual/llm-anatomy.md）
- 最后更新：2026-10-01
- 原文：https://daiw.org/manual/llm-anatomy/model-profiles
- 转载与引用：请注明出处并附原文链接（https://daiw.org/about/copyright）

# 四张脸谱 · DeepSeek / Llama / Qwen / GLM 的组合拳

前面我们一直「横切」——一维一维地对比。这一章反过来「竖看」：把每个模型散落在各维度的选择**收拢成一个整体**，看它作为一个「人」的性格。你会发现，**每个模型的风格，不是某一个绝招，而是一连串取舍叠出来的组合拳。**

## DeepSeek(V3)：效率最大化的偏执狂

**一句话性格：每一个选择，都在问「怎么用更少，办更多」。**

把 DeepSeek-V3 的选择连起来看，主题惊人地一致：

- **MLA**：把 KV 缓存压到比 GQA 还小，质量还反超 MHA；
- **细粒度 MoE**（256 专家 / 激活 8+1、含共享专家）：极致专精，671B 只激活 37B；
- **无辅助损失均衡**：不牺牲质量地解决 MoE 负载；
- **前 3 层稠密**：稳住训练地基；
- **FP8 训练 + MTP**：把训练成本和样本效率再榨一道。

<Callout type="info">
  **签名动作：MLA + 那个著名的「低成本」。** DeepSeek 证明了「顶尖大模型」和「训得起、跑得起」不矛盾——靠的不是某一招，而是**省 KV 缓存、省激活、省精度、省样本**这一整套叠满 buff 的组合。它是这份名单里旗帜鲜明的「效率派」。
</Callout>

## Llama(3 → 4)：务实的标准制定者

**一句话性格：不追新奇，把成熟方案做扎实，顺手定义「默认」。**

- **Llama 3**：一个**教科书级的稠密 GQA 模型**——RoPE、RMSNorm、Pre-Norm、SwiGLU、无 bias，干净、标准、开放。它某种程度上就是本专栏[「共同骨架」](https://daiw.org/manual/llm-anatomy/common-skeleton)那张表的活标本，也是无数模型的对标基线。
- **Llama 4**：转向 **MoE**，但走的是**保守路线**——8 个大专家、激活 2 个、无共享专家、MoE 与稠密层交替。相比 DeepSeek 的「多而小」，Llama 4 是「少而大」的经典派。

<Callout type="info">
  **签名动作：定义默认。** Llama 的价值常不在「最先」，而在「最稳、最开放、最好复现」。它是那种「你不确定该怎么选时，照它抄准没错」的标准件。
</Callout>

## Qwen(2.5 → 3)：多语言底色，敢做减法

**一句话性格：为多语言（尤其中文）而生，且不迷信复杂。**

- **大词表(~151K)**：覆盖中文/多语言/代码更好——这是它「服务谁」写在脸上的印记；
- **Qwen2 给 QKV 加回 bias**：为长度外推；
- **QK-Norm、偏深的结构**：求稳、求抽象深度；
- **MoE 版本主动砍掉共享专家**：DeepSeek 视若珍宝的东西，Qwen 觉得收益不明、图简单去掉了。

<Callout type="info">
  **签名动作：敢做减法。** 在「大家都加共享专家」时它敢减，在「大家都去 bias」时它敢留——Qwen 的判断不随大流，一切服从「我这套配方和目标下，到底值不值」。加上多语言底色，它是名单里最「实用主义」的一家。
</Callout>

## GLM(4.5)：借力打力，稳字当头

**一句话性格：把别人验证过的好东西拿来，拼一套稳的。**

- **MoE + 共享专家**、**前几层稠密**：这两招**明说借鉴自 DeepSeek**——「大 MoE 里，稠密的头几层能改善收敛稳定性」；
- **GQA + QK-Norm**：主流稳妥组合；
- **保留了 GPT-2 时代的注意力 bias**：一点传承的执念。

<Callout type="info">
  **签名动作：站在巨人肩上求稳。** GLM-4.5 不追求哪一维「最激进」，而是把 DeepSeek 等验证过的稳定性设计**组装**起来，做一个可靠的大 MoE。它代表了一种健康的工程心态：**创新不必事事原创，把对的东西拼对，也是本事。**
</Callout>

## 四张脸谱，一张对照

| 模型 | 注意力 | 前馈 | 签名性格 |
| --- | --- | --- | --- |
| **DeepSeek-V3** | **MLA** | 细粒度 MoE（256/8+1，共享） | 效率最大化 |
| **Llama 3 / 4** | GQA | 3 稠密 → 4 转 MoE（8/2，大，无共享） | 务实标准派 |
| **Qwen 2.5 / 3** | GQA(+QKV bias) | 稠密 + MoE（砍共享），大词表 | 多语言 + 做减法 |
| **GLM-4.5** | GQA | MoE（共享 + 前几层稠密，借鉴 DeepSeek） | 借力求稳 |

看到了吗？**同样的六个维度，四种填法，四种性格。** 这正是本专栏想让你获得的能力：拿到任何一个新模型的技术报告，你都能顺着这几个维度快速定位它「像谁、在哪儿下了不一样的注、为什么」。

最后一章，我们把所有维度汇成一张总表，并收束贯穿全篇的两条主线与几个大趋势，给这趟「解构之旅」画个句号。👉 [一张大表 + 趋势](https://daiw.org/manual/llm-anatomy/recap-and-trends)

## 参考文献

- [1] DeepSeek-AI. “DeepSeek-V3 Technical Report.” 2024. arXiv:2412.19437.
- [2] Grattafiori et al. (Meta). “The Llama 3 Herd of Models.” 2024. arXiv:2407.21783.
- [3] Qwen Team. “Qwen2.5 Technical Report.” 2024. arXiv:2412.15115.
- [4] Team GLM, Zhipu AI. “ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools.” 2024. arXiv:2406.12793.
- [5] Raschka, S. “The Big LLM Architecture Comparison.” 2025. https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison