大语言模型

概念解析——混合专家模型(MoE)

混合专家模型(Mixture of Experts,简称 MoE)是一种模型架构,核心思路是:把一个大的神经网络拆成多个并列的小网络(称为专家),每次只激活其中一小部分来处理输入。用更少的算力,支撑更大的模型容量。


1. MoE 要解决什么问题

传统稠密模型(Dense Model)每来一个 token,所有参数都参与计算。一个 100B 参数的模型,算一次就得过一遍 100B 的计算量。模型越大越聪明,但算力账单也越大——想翻倍容量,算力就得翻倍。

MoE 的思路不一样:把模型容量做大,但每次计算只走一小部分。好比一个公司招了 100 个专家,但每个任务只叫其中几个人来干活。人还是 100 个,但每次发工资只算那几个人的工时。


2. 两个关键数字:总参数 vs 激活参数

理解 MoE 必须先钉死两个概念。总参数(Total Parameters)是模型所有权重的数量,决定了显存占用。激活参数(Activated Parameters)是每个 token 实际参与计算的那部分,决定了推理算力。

稠密模型的总参数 = 激活参数。MoE 模型的总参数远大于激活参数,这是它省算力的根源。

MoE 的卖点就是总参数堆很大,但每个 token 的算力账单只按激活的那几份算。

DeepSeek V3 总共 671B 参数、257 个专家,但每个 token 只激活其中 9 个(37B 参数)——用全套知识,只付 5.5% 的算力账。


3. 路由器:谁是专家,谁干活

MoE 的核心组件是路由器(Router,也叫 Gate)。它是个小型打分网络,每个 token 进来,它给所有专家打分,然后选出分数最高的 K 个。

示例:一个 8 专家的 MoE,top-2 路由。输入"写一个快速排序",路由器给 8 个专家打分:代码 85%、推理 72%、数学 30%、对话 8%……最终选代码和推理两个专家来算这个 token。

路由器的输出可以写成一行公式:

y = Σ(i∈topK) softmax(W·x)i · Ei(x)

其中 W 是打分矩阵,Ei 是第 i 个专家网络,x 是 token 向量。先算每个专家的分数,softmax 归一化,取 top-K 加权求和。

不同模型的 top-K 不同。Mixtral 8×7B 用 top-2,DeepSeek V3 用 top-8(加 1 个共享专家),Llama 4 用 top-1。K 越大,每 token 激活的专家越多,算力越高但表达能力越强。


4. 稀疏激活

稀疏激活(Sparse Activation)是 MoE 的精髓:参数很多(稠密存储),但每次只用一部分(稀疏计算)。

这个"稀疏"发生在 Transformer 的前馈层(FFN)位置。传统 FFN 是一个稠密网络,每个 token 完整过一遍。MoE 把 FFN 替换成多个并行的专家网络,每个 token 只走其中 K 个。注意力层(Attention)不变,所有专家共享同一套注意力参数。

稀疏激活的好处:同样算力预算下可以训练更大的模型。100B 的稠密模型和 1000B 的 MoE 模型,如果激活参数都是 100B,训练成本差不多,但 MoE 的总容量是前者的 10 倍,知识更丰富。

MoE 是"用显存换算力"——省了计算,但显存一分钱没少花。


5. 专家并行

MoE 训练时有个独特的问题:不同的专家放在哪块 GPU 上算?这就是专家并行(Expert Parallelism)。

每个 GPU 上放若干个专家。token 经过路由器后,需要从当前 GPU 发送到存放目标专家的 GPU 上计算,再把结果收回来。这个操作叫作 all-to-all 通信。

all-to-all 的通信开销不小。如果每个 token 的 K 个专家分散在不同 GPU 上,网络带宽就成了瓶颈。DeepSeek V3 在 H800 上用了 node-limited routing,限制每个 token 最多跨越 4 个计算节点,才把通信降下来。

专家并行是 MoE 大规模训练绕不开的工程挑战。2026 年的做法通常结合三种并行:数据并行(Data Parallelism)处理不同 batch、张量并行(Tensor Parallelism)拆分单个专家、专家并行(Expert Parallelism)分布不同专家。


6. 负载均衡:路由器不偏心

MoE 训练中最棘手的问题之一:路由器会偏心。如果不加干预,它会陷入路由塌缩(Routing Collapse)——总是选同一两个"明星专家",越选它们越擅长,越擅长越被选。最后所有 token 都走同一套参数,MoE 退化成稠密模型,失去了稀疏的优势。

解决负载均衡有三种思路:

A

啥都不管(反面教材)

路由器自由发展,结果就是塌缩。一个专家累死,其他七个躺平。这不是玩笑——如果不加约束,MoE 训练必然走向塌缩。

B

aux loss(Switch Transformer,2021)

在训练损失上加一项辅助损失(auxiliary loss),鼓励每个专家被选到的概率接近均匀。效果不错,但 aux loss 本质是正则项,它会干扰主任务的 loss,导致主任务收敛变慢或变差。

C

bias only(DeepSeek V3,2024)

给每个专家加一个可训练的 bias 偏置,路由器打分时加上这个偏置来微调选择倾向。偏置的更新不经过主损失函数,因此不影响主任务 loss。DeepSeek V3 报告这个方法既实现了负载均衡,又保持了主任务损失最低。


7. 2026 年开源 MoE 一瞥

从 2023 年 Mixtral 启蒙到 2025 年 Kimi K2 的 1 万亿参数,开源 MoE 的发展很快。以下是几个代表性模型:

模型 总参数 激活参数 专家数 top-K
Mixtral 8x7B 47B 13B 8 2
DeepSeek V3 671B 37B 256 8 (+1 shared)
Qwen3 235B-A22B 235B 22B 128 8
Llama 4 Maverick 400B 17B 128 1 (+1 shared)
Llama 4 Scout 109B 17B 16 1 (+1 shared)
Kimi K2 1000B 32B 384 8 (+1 shared)
GPT-OSS 120B 117B 5.1B 128 4

注意 active 比例(激活参数 / 总参数)越来越小。Mixtral 是 28%,DeepSeek V3 是 5.5%,Kimi K2 只有 3.2%——用越少的激活算力,支撑越大的模型容量。


8. 训练 vs 推理:各有什么代价

MoE 不是免费午餐。它在推理端省了算力,但把代价转移到了其他地方:

显存账——全部参数必须装进显存。Mixtral 8x7B 算力只相当于 13B 的稠密模型,但显存得装全部 47B 的参数。算力省了 3.6 倍,显存一分钱没省。这个特点对数据中心不是问题(H100 显存够大),但对消费级显卡很不友好。

通信账——训练时 token 要在 GPU 之间穿梭。all-to-all 通信是 MoE 训练的主要瓶颈之一。专家越多、分布越散,通信开销越大。

不稳定账——路由塌缩和负载均衡是 MoE 训练特有的失败模式。Switch Transformer 论文报告 aux loss 的系数 α=0.01 是甜蜜点,差一个数量级就崩。DeepSeek V3 改用 bias 偏置后,bias update speed γ 同样需要细调。

量化与 MoE 互补——量化把每个参数占用的比特数降低(比如 16 比特降到 4 比特),MoE 减少参与计算的参数数量。两者是两套互补的省钱手段。一个 MoE 模型再经过量化,总显存就压下来了——这也是 2026 年很多开源 MoE 能在本地跑起来的原因。


9. 相邻概念

MoE 不是孤立的架构思路。你接下来可以顺着这些概念深入:

  • 大语言模型(LLM):MoE 是大语言模型的一种架构变体,先搞清楚大模型整体是怎么回事。
  • DeepSeek-R1:目前最有名的 MoE 模型之一,671B 参数每 token 只激活 37B。
  • LLaMA:Meta 的稠密模型系列,与 MoE 对比就能理解"稠密 vs 稀疏"的差异。
  • DeepSpeed:微软的分布式训练框架,提供了 MoE 训练所需的专家并行和通信优化支持。

参考

  1. Shazeer et al. Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer. ICLR 2017.
  2. Fedus et al. Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity. JMLR 2022.
  3. DeepSeek-AI. DeepSeek-V3 Technical Report. arXiv:2412.19437, 2024.
  4. Jiang et al. Mixtral of Experts. arXiv:2401.04088, 2024.
  5. Qwen Team. Qwen3 Technical Report. arXiv:2505.20988, 2025.
  6. Moonshot AI. Kimi K2 Model Card. 2025.
概念解析 · 人工智能ABC