# MoE 的三个旋钮 · 专家数、激活数、共享专家

> 同样是 MoE，DeepSeek 的「多而小 + 共享专家」、Llama 4 的「少而大」、Qwen3 的「砍掉共享专家」为什么差这么多？拆开三个可调旋钮——专家总数与粒度、每 token 激活几个、要不要一个万金油共享专家——看各家的取舍逻辑。

- 作者：David（道雾轩）
- 专栏：AI 大模型解构（https://daiw.org/manual/llm-anatomy.md）
- 最后更新：2026-07-13
- 原文：https://daiw.org/manual/llm-anatomy/moe-knobs
- 转载与引用：请注明出处并附原文链接（https://daiw.org/about/copyright）

# MoE 的三个旋钮 · 专家数、激活数、共享专家

「把前馈换成一堆专家」只是一句口号。真正把各家 MoE 区分开的，是三个可调的旋钮。把它们拧到不同位置，就得到 DeepSeek、Llama 4、Qwen3 那几种截然不同的风格。这一章，一个旋钮一个旋钮地拧。

## 旋钮一：专家「多而小」还是「少而大」

同样是 MoE 层，你可以拆成**很多个小专家**，也可以拆成**几个大专家**。两种极端并存：

| 模型 | 路由专家总数 | 单个专家的中间维度 | 风格 |
| --- | --- | --- | --- |
| **DeepSeek-V3** | **256** | 2048（小） | 多而小（细粒度） |
| **Qwen3 235B** | 128 | 中等 | 偏多 |
| **Llama 4 Maverick** | **8** | 8192（大） | 少而大 |

DeepSeek 走的是**细粒度(fine-grained)**路线：把前馈切成 256 个小专家。Llama 4 走的是**经典**路线：8 个大专家。

为什么 DeepSeek 偏爱「多而小」？**DeepSeekMoE 论文**的论证很妙：专家越多、越小，**能组合出的「专家搭配」就越多**。8 选 2，只有 28 种组合；256 选 8，组合数是个天文数字。组合空间越大，不同 token 越能被路由到**更贴合自己**的专家子集，专家也越能各自**深度专精**（一个管代码缩进、一个管化学式、一个管古文……），而不是每个都被迫当「样样通样样松」的万金油。代价是：小专家更多，路由和工程调度更复杂。

## 旋钮二：每个 token 激活几个(top-k)

选出总专家后，还要定**每个 token 实际激活几个**。这个数直接决定「每步算多少」：

| 模型 | 每 token 激活（路由专家） | 备注 |
| --- | --- | --- |
| Switch Transformer | **1** | 最省，top-1 |
| Llama 4 Maverick | **2** | |
| DeepSeek-V3 | **8** | + 1 个共享（见旋钮三）= 实际 9 个 |
| Qwen3 235B | **8** | |

激活越多，每个 token 能调用的「脑力」越多、表达越强，但每步计算也越大。这就是**上一章那张「总参数 vs 激活参数」表背后的旋钮**：DeepSeek-V3 的 37B 激活，正是「256 里激活 8+1、每个 2048 维」乘出来的结果。

<Callout type="info">
  旋钮一和旋钮二要**一起看**。DeepSeek 的「256 个小专家、激活 8+1」和 Llama 4 的「8 个大专家、激活 2」，可能激活参数量相近，但**风格迥异**：前者是「从一大群专才里点几个」，后者是「从几个通才里点一两个」。前者赌的是「专精 + 组合」，后者赌的是「简单 + 稳健」。
</Callout>

## 旋钮三：要不要一个「万金油」共享专家

这是最能体现设计哲学分歧的一个旋钮。

**共享专家(shared expert)**是一个**永远激活、每个 token 都过**的专家，叠在路由选出的那几个之上。DeepSeek、GLM-4.5、Kimi K2 都留了共享专家（通常 1 个）。

它的道理是：**语言里有大量「谁都用得到」的通用知识**（基本语法、常见搭配）。如果没有共享专家，那这些通用能力就得**在每个路由专家里各学一遍**——冗余、浪费。给一个专家「专门负责通用」，常驻在线，就把通用知识从路由专家身上卸下来，**让路由专家腾出手去专精**。分工更干净。

可 **Qwen3 偏偏把共享专家砍了**。Qwen 团队在其报告里说得很坦诚：他们没观察到共享专家带来足够明显的收益，对它在优化上的好处「拿不准」，于是干脆去掉、图个简单。Llama 4 同样没有共享专家。

**同一个设计，DeepSeek 视为提升专精的关键，Qwen3 觉得可有可无——这正是「本质差异」最生动的地方**：不是谁对谁错，而是在各自的训练配方和规模下，这个零件的边际收益不一样。这类「一家坚持、一家放弃」的分歧，恰恰是读架构最有意思的信号。

## 三个旋钮，拧出三种性格

把三个旋钮并到一张表，各家的「性格」就跃然纸上：

| 模型 | 专家（总/激活） | 粒度 | 共享专家 | 一句话性格 |
| --- | --- | --- | --- | --- |
| **DeepSeek-V3** | 256 / 8 | 小（细粒度） | 有(1) | 多而小 + 共享：极致专精与组合 |
| **Llama 4 Maverick** | 8 / 2 | 大 | 无 | 少而大：经典、稳健、好实现 |
| **Qwen3 235B** | 128 / 8 | 中 | **无（主动砍掉）** | 偏多但从简，不赌共享专家 |
| **GLM-4.5** | 多 | —— | 有 | 借鉴 DeepSeek 路线 |

读到这儿，你应该有个体会：**「用不用 MoE」只是第一层；真正见功力的是这三个旋钮怎么拧。** 而拧法背后，是各家对「专精 vs 简单」「组合能力 vs 工程复杂度」的不同下注。

## 还差一块：拧完旋钮，怎么让它训得起来

三个旋钮定了 MoE 的「形状」，但 MoE 有个众所周知的老大难：**训练时，路由器很容易「偏心」**——把绝大多数 token 都塞给少数几个热门专家，剩下的专家「饿死」、学不到东西，几百个专家白设。这叫**负载不均衡**，是 MoE 能不能训好的命门。各家（尤其 DeepSeek）为此发明了一整套招数，包括一个漂亮的「无辅助损失」方案。这是下一章。👉 [让 MoE 训得稳、又均衡](https://daiw.org/manual/llm-anatomy/moe-stability)

## 参考文献

- [1] Dai et al. “DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models.” 2024. arXiv:2401.06066. —— 细粒度专家 + 共享专家的论证。
- [2] DeepSeek-AI. “DeepSeek-V3 Technical Report.” 2024. arXiv:2412.19437. —— 256 专家、激活 8+1 的具体配置。
- [3] Fedus et al. “Switch Transformers.” JMLR 2022. arXiv:2101.03961. —— top-1 路由。
- [4] Qwen Team. “Qwen3 Technical Report.” 2025. arXiv:2505.09388. —— 去掉共享专家的说明。
- [5] Raschka, S. “The Big LLM Architecture Comparison.” 2025. https://magazine.sebastianraschka.com/p/the-big-llm-architecture-comparison —— 各模型专家配置的横向对比。