宽还是深，以及那些小执念
收尾前的一撮「小差异」——同样的参数预算，做宽还是做深（GPT-OSS 选宽、Qwen3 选深）；注意力里那个被丢弃又被捡回的 bias；GPT-OSS 的 attention sink；以及词表大小背后的多语言/成本权衡。个个不大，凑起来就是各家的指纹。
宽还是深，以及那些小执念
两条主线（注意力、MoE）是骨干，归一化、位置编码、训练侧是重要配角。最后这一章，收拢一撮更小、更零碎的差异。它们单个都不足以定生死，但凑在一起，就成了辨认一个模型的指纹——而且往往暴露它为谁而生。
宽还是深：同样的预算，两种花法
给定一个参数预算，你可以把它花在宽（更大的 n_embd，每层更胖）或深（更多的层）上。两家做了相反的选择：
- GPT-OSS(2025)选宽：嵌入维度做到 2880，层数相对少——又宽又矮。
- Qwen3 选深：层数更多、每层更窄——又高又瘦。
各有各的道理：
| 更宽 | 更深 | |
|---|---|---|
| 计算特点 | 每层内部矩阵大，并行度高、对 GPU 友好 | 层层依赖，串行、更难并行 |
| 速度 | 单层快，整体推理常更快 | 层多，推理偏慢 |
| 能力倾向 | —— | 更多层 = 更多次「抽象」，表达更深 |
Gemma 2 的消融发现：在相近预算下，宽比深略占优。但这不是铁律——Qwen3 反其道选深，赌的是「更多层带来的抽象深度」。这类选择没有标准答案，更多是在自家的速度/能力偏好和硬件上，选一个舒服的点。
那个被丢弃又被捡回的 bias
回忆 nanoGPT：GPT-2 的 Linear 和 LayerNorm 都带 bias（偏置项）。而现代模型大多把 bias 去掉了——省参数、略快、还略稳。
但总有例外，而且很有意思：
- Qwen2 偏偏给注意力的 Q、K、V 投影加回了 bias。Qwen 团队认为这有助于长度外推（在比训练更长的上下文上表现更稳）。
- GLM、GPT-OSS 也保留了一些 GPT-2 时代的注意力 bias——尽管近年有论文指出这些 bias 大多是冗余的。
一个「早就该丢掉」的老零件，被 Qwen 出于外推、被 GLM 出于传承各自留了下来——这类「逆共识的小坚持」，往往比随大流更能暴露一个团队的判断和口味。
Attention Sink：给注意力一个「泄洪口」
这是个特别有意思的观察。StreamingLLM(Xiao et al.， 2023) 发现：训练好的模型，会把大量注意力莫名其妙地倒给序列的第一个 token。
为什么？因为 softmax 逼着注意力权重必须加起来等于 1——可有时候当前 token 谁都不特别想看，这多出来的「注意力预算」总得有个地方倒。于是模型学会了拿第一个 token 当「泄洪口 / 垃圾桶」（称为 attention sink），把用不掉的注意力都堆那儿。这个 sink 看着没用，却至关重要：流式推理时如果把开头几个 token 丢了，模型会突然崩坏——因为泄洪口没了。
GPT-OSS 把这个观察「内建」进了架构：给每个注意力头learn 一个专门的 sink 偏置项，等于显式地造一个泄洪口，而不再依赖「第一个 token」这个临时替身。一个对「softmax 必须归一」这个小约束的巧妙回应。
词表大小：一个不起眼却真实的分歧
最后一个「小」差异，其实一点都不小：词表(vocab)有多大。
| 模型 | 词表大小（量级） |
|---|---|
| GPT-2 / nanoGPT | ~50K |
| Llama 3 | ~128K |
| DeepSeek | ~128K |
| Qwen | ~151K |
词表越大：
- 好处：同一段文本被切成更少的 token（更高效），对多语言、代码的覆盖更好——Qwen 偏大的词表，和它对中文/多语言的重视直接相关；
- 代价：输出层和词嵌入更宽（参数、显存都涨）。
词表大小，是「效率/多语言」和「参数成本」之间一个朴素的权衡。 它不酷，但它把「这个模型主要服务谁」写在了脸上——一个重中文的模型，词表通常更大。
小结：指纹凑齐了
宽深、bias、attention sink、词表——这些「小执念」个个不改大局，但每一个都在说一句话：这个模型的团队，在这个不起眼的地方，做了个和别人不一样的选择，通常是为了它自己的目标（多语言？流式？外推？）。 把它们和前面的主线维度拼起来，你就有了辨认每个模型的完整指纹。
维度全部拆完了。接下来两章收尾：先给 DeepSeek、Llama、Qwen、GLM 各画一张「脸谱」，把它们散落在各维度的选择收拢成一个整体；再用一张大表 + 两条趋势，给整个专栏画上句号。👉 四张脸谱：DeepSeek / Llama / Qwen / GLM 的组合拳
参考文献
- [1] Xiao et al. “Efficient Streaming Language Models with Attention Sinks.” ICLR 2024. arXiv:2309.17453. —— attention sink 的发现与利用。
- [2] Qwen Team. “Qwen2 Technical Report.” 2024. arXiv:2407.10671. —— QKV 加回 bias 以助外推。
- [3] Gemma Team, Google DeepMind. “Gemma 2.” 2024. arXiv:2408.00118. —— 宽/深权衡的消融。
- [4] Sennrich et al. “Neural Machine Translation of Rare Words with Subword Units (BPE).” ACL 2016. arXiv:1508.07909. —— 子词分词与词表。
- [5] Raschka, S. “The Big LLM Architecture Comparison.” 2025. https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison —— 宽深、bias、sink 等横向对比。