大语言模型

概念解析——投机解码

投机解码(Speculative Decoding)是一种无损加速大模型推理的技术。它不改变模型的结构,不改参数,也不改数学上的输出分布——它只是给生成过程请了一个"助手",让主模型一次干更多的活。在配合良好的条件下,推理速度可以提升 2-3 倍。


1. 问题:大模型生成为什么慢

大模型生成文本是逐 token 进行的:写完一个 token,把它接回已有的序列,再算下一个。每算一个 token 都要完整过一遍整个网络。遇到长回答,几百个 token 就要几百次前向传播,每个新 token 都要等上一轮算完才能开始。这种串行依赖决定了 Decode 阶段天生就是推理吞吐的瓶颈。

加速 token 生成无非两条路:让单次计算更快(量化、剪枝、蒸馏),或者让每次计算产出更多的有效 token。投机解码走的是第二条路。

如果一步只出一个 token,想提速就要么让每步算得更快,要么让一步出更多的 token。投机解码选了后者。

2. 核心思路:用草稿换并行

投机解码的核心想法很朴素:找一个更快的草稿模型(draft model)先猜出接下来的一小段文字,然后用主模型(target model)一次性检查这段草稿,标记哪些位置可以通过、哪些需要修正。

关键洞察在于:主模型验证草稿时可以一次性处理多个 token——把整段草稿当作一个 batch 并行计算,而不需要像生成时那样逐个串行。GPU 对并行计算有天然优势,验证 k 个 token 的时间远小于串行生成 k 个 token 的时间。

直观对比:主模型自己生成 10 个 token 需要跑 10 次前向传播。投机解码让草稿模型生成 10 个候选(草稿模型快得多),主模型一次验证全部——一次前向传播就够了。草稿猜对的 token 直接保留,猜错的地方由主模型修正,然后从修正处继续草稿。如果草稿质量不错,整体速度就能明显提升。

3. 草稿-验证-接受循环

投机解码的每一步走的是同一个三步循环:草稿、验证、接受。

第一步

草稿

草稿模型连续生成 k 个候选 token。草稿模型必须足够快——通常比主模型小一个数量级,或使用更轻量的结构(n-gram、单层 Transformer 等)。草稿模型和主模型共享同一个词表,但不需要共享架构。草稿完全向前看,不依赖将来的信息。

第二步

验证

主模型接收草稿序列,一次前向传播算出这 k 个 token 各自对应的概率分布。这一步是批量验证:主模型把草稿的前 k-1 个 token 作为输入上下文,同时预测第 1 到第 k 个位置上的 token 分布。准确地说,验证阶段计算的是主模型对每个草稿 token 位置的条件概率——如果某个位置草稿 token 的概率大于等于主模型在该位置采样得到的阈值,则通过;否则拒掉。

第三步

接受

草稿 token 从左到右逐一检查。遇到第一个不被接受的 token 时停止,它之前的所有草稿 token 保留。如果所有草稿 token 都接受了,还要额外从主模型采一个 token 作为收尾。被拒绝的草稿 token 之后的内容全部丢弃,主模型从接受序列的末尾重新开始下一轮草稿。

草稿猜对的 token 免费加速。猜错的被拒绝,但代价只是草稿模型白算了一段——相比于主模型自己逐 token 生成,仍然不亏。

4. 加速原理:验证为什么比生成快

理解投机解码的加速,要先分清生成和验证在计算模式上的差异。

普通生成时,每一步只产生一个 token 的输出。模型需要反复执行前向传播,每次带宽和算力的利用率都不高——尤其是 Decode 阶段,瓶颈在于显存带宽而非计算单元。GPU 在这个阶段的利用效率往往只有 10-30%。

验证却不同。主模型一次性处理 k 个 token 的草稿。虽然这些 token 之间仍然有因果关系(后面的 token 依赖前面的上下文),但 Transformer 的自注意力机制让验证可以在一次前向传播中并行计算所有位置的输出分布。GPU 的并行计算能力在这个阶段能得到更好的发挥。验证 k 个 token 的耗时通常只比生成 1 个 token 多 10-30%。

粗略估算:假设验证 k 个 token 的耗时是生成 1 个 token 的 1.2 倍。如果草稿每轮猜对 3 个 token,那么投机解码每轮有效产出 ≈ 3 个 token,耗时为 "草稿生成耗时 + 1.2 × 单 token 生成耗时"。只要草稿模型够快,草稿生成耗时远小于主模型生成 3 个 token 的时间,加速就成立了。

5. 接受率:决定加速倍率的关键

接受率(acceptance rate)是投机解码最重要的指标。它指草稿 token 被主模型接受的比例,直接决定了每轮验证能留下多少有效 token。

接受率取决于两个因素:草稿模型的预测质量和主模型采样策略的一致性。如果草稿模型和主模型的分布高度相似,接受率就高。典型的接受率落在 0.6-0.9 之间,意味着每轮 4 个草稿 token 中有 2-3 个能被接受。

草稿长度 k 的选择也要权衡。k 太小,每轮有效产出少,加速有限。k 太大,草稿末端那些远离上下文的 token 接受率会自然下降,且草稿模型自身的计算成本也在增加。经验上 k 在 4-8 之间效果较好。

接受率与加速倍率的关系(示意图):
草稿长度 k=5,接受率 80% → 每轮平均保留 4 个 token,加速约 2.5×。
草稿长度 k=5,接受率 50% → 每轮平均保留 2.5 个 token,加速约 1.5×。
草稿长度 k=8,接受率 70% → 每轮平均保留 5.6 个 token,加速约 3×。

6. 草稿模型的选择

草稿模型的选取是投机解码中最重要的工程决策。三类方案各有适用场景。

方案一

独立的轻量语言模型

最常见的方式。训练一个比主模型小得多的语言模型(例如 100M-1B 参数 vs 7B-70B 参数)作为草稿模型。优势是灵活性高——可以用任意架构,和主模型不需要同源。缺点是额外的模型加载和部署成本。典型例子是用 1B 参数的模型为 70B 参数的模型做草稿。

方案二

n-gram 语言模型

更轻量的方案。利用已有的输入文本构建 n-gram 统计表,根据前 n-1 个 token 预测第 n 个 token 的概率。n-gram 几乎不消耗 GPU 算力,在重复性高、模板化的输出中表现不错。缺点是缺乏语义理解能力,遇到创造性内容时接受率低。

方案三

自草稿(Self-draft 或 Staged Speculation)

从主模型自身的一部分或浅层输出来产生草稿。例如提前退出主模型的浅层来获取早期输出,或用主模型的较小中间表示做预测。优势是草稿和验证天然对齐,分布相似度高。缺点是设计复杂,且需要修改模型推理流程。

没有最好的草稿模型,只有最适合的。如果输出偏模板化,n-gram 可能够用。如果追求通用场景的高接受率,独立 LMs 更稳妥。自草稿则适合深度定制的部署环境。

7. 无损保证:为什么输出不会变差

投机解码最重要的理论性质是"无损"——它不改变主模型输出的概率分布。也就是说,在数学意义上,投机解码产出的 token 序列和主模型自己逐 token 生成的序列服从完全相同的分布。

这个性质不是自动成立的,需要精心的算法设计。验证阶段接受或拒绝草稿 token 时,使用的不是简单的"相等即保留"逻辑。标准做法是:当草稿 token 在草稿模型中的概率小于在主模型中的概率时,以特定概率拒绝它;拒绝后,从主模型修正后的分布中重新采样。这套接受-重抽规则保证了最终采样分布与直接使用主模型相同。

实际工程中要实现无损,草稿模型和主模型的词表必须兼容,验证阶段的采样逻辑必须严格实现。如果只做贪心解码(每次选概率最大的 token),无损性质更直观——只要草稿 token 和主模型选中的一致就保留,不一致就由主模型接管。

无损意味着什么:同样一段 prompt,投机解码产出的回答分布和主模型自产的回答分布,在统计学上不可区分。不会因为用了投机解码就出现新的幻觉模式或变差的输出。加速是免费的。

8. 实际加速效果

投机解码的加速倍率依赖具体配置。综合学术界和工业界的报告,典型加速范围在 1.5× 到 3× 之间。

  • 小模型配大模型(1B → 70B):理想条件下可达 2-3× 加速。接受率 0.7-0.85,草稿计算成本低。
  • 近似规模模型:加速比偏低,约 1.2-1.5×。这是因为草稿模型不够快,节省的计算被草稿成本抵消。
  • n-gram 草稿:在代码生成、表格填充等重复性内容中可达 2× 以上,在自由创作场景中加速不明显。
  • 高并发场景:连续批处理已经很好地利用了 GPU,投机解码的边际收益会缩小。但在单请求时延敏感的场合(聊天、交互式应用),即使 1.5× 也有明显体验改善。

需要注意:投机解码不减少总计算量——它让计算更高效地利用 GPU 并行能力,但草稿模型的额外开销和主模型验证的更长序列都是真实成本。最终加速是工程平衡的结果。


9. 相邻概念

投机解码是推理优化工具箱中的一员。它和下面这些概念紧密相关:

  • 模型推理:投机解码嵌入在推理的 Decode 阶段,理解推理的 Prefill/Decode 两段式是读懂投机解码的前提。
  • 连续批处理:连续批处理优化的是多请求的吞吐,投机解码优化的是单请求的时延。两者可以叠加使用。
  • KV Cache:投机解码的验证阶段充分利用了 KV Cache。草稿模型生成的候选序列也需要维护各自的 KV Cache 以确保正确接续。
  • 模型部署:在生产环境中,投机解码通常与量化、批处理、缓存管理一起部署,构成完整的推理服务。
  • 大语言模型:投机解码加速的是大语言模型本身的生成过程,理解 LLM 的基础架构(GPT 风格 decoder-only)有助于深入理解原理。
参考资料
  1. Leviathan, Y., Kalman, M., & Matias, Y. "Fast Inference from Transformers via Speculative Decoding." ICML 2023. arXiv:2211.17192
  2. Chen, C. et al. "Accelerating Large Language Model Decoding with Speculative Sampling." 2023. arXiv:2302.01318
  3. Stern, M. et al. "Blockwise Parallel Decoding for Deep Neural Networks." NeurIPS 2018. arXiv:1811.03115
  4. Xia, H. et al. "Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding." 2024. arXiv:2401.07851
  5. Miao, X. et al. "SpecInfer: Accelerating Large Language Model Serving with Tree-based Speculative Inference and Verification." ASPLOS 2024. arXiv:2305.09781
概念解析 · 人工智能ABC