大语言模型
概念解析——混合专家模型(MoE)
混合专家模型(Mixture of Experts,简称 MoE)是一种模型架构,核心思路是:把一个大的神经网络拆成多个并列的小网络(称为专家),每次只激活其中一小部分来处理输入。用更少的算力,支撑更大的模型容量。
1. MoE 要解决什么问题
传统稠密模型(Dense Model)每来一个 token,所有参数都参与计算。一个 100B 参数的模型,算一次就得过一遍 100B 的计算量。模型越大越聪明,但算力账单也越大——想翻倍容量,算力就得翻倍。
MoE 的思路不一样:把模型容量做大,但每次计算只走一小部分。好比一个公司招了 100 个专家,但每个任务只叫其中几个人来干活。人还是 100 个,但每次发工资只算那几个人的工时。
2. 两个关键数字:总参数 vs 激活参数
理解 MoE 必须先钉死两个概念。
稠密模型的总参数 = 激活参数。MoE 模型的总参数远大于激活参数,这是它省算力的根源。
MoE 的卖点就是总参数堆很大,但每个 token 的算力账单只按激活的那几份算。
DeepSeek V3 总共 671B 参数、257 个专家,但每个 token 只激活其中 9 个(37B 参数)——用全套知识,只付 5.5% 的算力账。
3. 路由器:谁是专家,谁干活
MoE 的核心组件是
路由器的输出可以写成一行公式:
y = Σ(i∈topK) softmax(W·x)i · Ei(x)
其中 W 是打分矩阵,Ei 是第 i 个专家网络,x 是 token 向量。先算每个专家的分数,softmax 归一化,取 top-K 加权求和。
不同模型的 top-K 不同。Mixtral 8×7B 用 top-2,DeepSeek V3 用 top-8(加 1 个共享专家),Llama 4 用 top-1。K 越大,每 token 激活的专家越多,算力越高但表达能力越强。
4. 稀疏激活
这个"稀疏"发生在 Transformer 的前馈层(FFN)位置。传统 FFN 是一个稠密网络,每个 token 完整过一遍。MoE 把 FFN 替换成多个并行的专家网络,每个 token 只走其中 K 个。注意力层(Attention)不变,所有专家共享同一套注意力参数。
稀疏激活的好处:同样算力预算下可以训练更大的模型。100B 的稠密模型和 1000B 的 MoE 模型,如果激活参数都是 100B,训练成本差不多,但 MoE 的总容量是前者的 10 倍,知识更丰富。
MoE 是"用显存换算力"——省了计算,但显存一分钱没少花。
5. 专家并行
MoE 训练时有个独特的问题:不同的专家放在哪块 GPU 上算?这就是
每个 GPU 上放若干个专家。token 经过路由器后,需要从当前 GPU 发送到存放目标专家的 GPU 上计算,再把结果收回来。这个操作叫作 all-to-all 通信。
all-to-all 的通信开销不小。如果每个 token 的 K 个专家分散在不同 GPU 上,网络带宽就成了瓶颈。DeepSeek V3 在 H800 上用了 node-limited routing,限制每个 token 最多跨越 4 个计算节点,才把通信降下来。
专家并行是 MoE 大规模训练绕不开的工程挑战。2026 年的做法通常结合三种并行:数据并行(Data Parallelism)处理不同 batch、张量并行(Tensor Parallelism)拆分单个专家、专家并行(Expert Parallelism)分布不同专家。
6. 负载均衡:路由器不偏心
MoE 训练中最棘手的问题之一:路由器会偏心。如果不加干预,它会陷入
解决负载均衡有三种思路:
啥都不管(反面教材)
路由器自由发展,结果就是塌缩。一个专家累死,其他七个躺平。这不是玩笑——如果不加约束,MoE 训练必然走向塌缩。
aux loss(Switch Transformer,2021)
在训练损失上加一项辅助损失(auxiliary loss),鼓励每个专家被选到的概率接近均匀。效果不错,但 aux loss 本质是正则项,它会干扰主任务的 loss,导致主任务收敛变慢或变差。
bias only(DeepSeek V3,2024)
给每个专家加一个可训练的 bias 偏置,路由器打分时加上这个偏置来微调选择倾向。偏置的更新不经过主损失函数,因此不影响主任务 loss。DeepSeek V3 报告这个方法既实现了负载均衡,又保持了主任务损失最低。
7. 2026 年开源 MoE 一瞥
从 2023 年 Mixtral 启蒙到 2025 年 Kimi K2 的 1 万亿参数,开源 MoE 的发展很快。以下是几个代表性模型:
| 模型 | 总参数 | 激活参数 | 专家数 | top-K |
|---|---|---|---|---|
| Mixtral 8x7B | 47B | 13B | 8 | 2 |
| DeepSeek V3 | 671B | 37B | 256 | 8 (+1 shared) |
| Qwen3 235B-A22B | 235B | 22B | 128 | 8 |
| Llama 4 Maverick | 400B | 17B | 128 | 1 (+1 shared) |
| Llama 4 Scout | 109B | 17B | 16 | 1 (+1 shared) |
| Kimi K2 | 1000B | 32B | 384 | 8 (+1 shared) |
| GPT-OSS 120B | 117B | 5.1B | 128 | 4 |
注意 active 比例(激活参数 / 总参数)越来越小。Mixtral 是 28%,DeepSeek V3 是 5.5%,Kimi K2 只有 3.2%——用越少的激活算力,支撑越大的模型容量。
8. 训练 vs 推理:各有什么代价
MoE 不是免费午餐。它在推理端省了算力,但把代价转移到了其他地方:
显存账——全部参数必须装进显存。Mixtral 8x7B 算力只相当于 13B 的稠密模型,但显存得装全部 47B 的参数。算力省了 3.6 倍,显存一分钱没省。这个特点对数据中心不是问题(H100 显存够大),但对消费级显卡很不友好。
通信账——训练时 token 要在 GPU 之间穿梭。all-to-all 通信是 MoE 训练的主要瓶颈之一。专家越多、分布越散,通信开销越大。
不稳定账——路由塌缩和负载均衡是 MoE 训练特有的失败模式。Switch Transformer 论文报告 aux loss 的系数 α=0.01 是甜蜜点,差一个数量级就崩。DeepSeek V3 改用 bias 偏置后,bias update speed γ 同样需要细调。
量化与 MoE 互补——量化把每个参数占用的比特数降低(比如 16 比特降到 4 比特),MoE 减少参与计算的参数数量。两者是两套互补的省钱手段。一个 MoE 模型再经过量化,总显存就压下来了——这也是 2026 年很多开源 MoE 能在本地跑起来的原因。
9. 相邻概念
MoE 不是孤立的架构思路。你接下来可以顺着这些概念深入:
- 大语言模型(LLM):MoE 是大语言模型的一种架构变体,先搞清楚大模型整体是怎么回事。
- DeepSeek-R1:目前最有名的 MoE 模型之一,671B 参数每 token 只激活 37B。
- LLaMA:Meta 的稠密模型系列,与 MoE 对比就能理解"稠密 vs 稀疏"的差异。
- DeepSpeed:微软的分布式训练框架,提供了 MoE 训练所需的专家并行和通信优化支持。
参考
- Shazeer et al. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR 2017.
- Fedus et al. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. JMLR 2022.
- DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437, 2024.
- Jiang et al. Mixtral of Experts. arXiv:2401.04088, 2024.
- Qwen Team. Qwen3 Technical Report. arXiv:2505.20988, 2025.
- Moonshot AI. Kimi K2 Model Card. 2025.