基础概念
概念解析——模型推理
你给 AI 助手发了一句话,几秒后它回了你一段文字。这中间发生了什么?训练好的模型接到输入、算出输出——这个过程就是模型推理。简单说,推理就是让模型跑起来干活。
1. 训练 vs 推理:两件事
很多人把"训练"和"推理"混在一起,其实它们是两段完全不同的工作。
训练是让模型从海量数据里学规律的过程。模型看几万亿字,一遍遍调整参数,直到它能把"今天天气很"后面接上"好"的概率算对。训练需要大量 GPU、花几天甚至几个月,一次性的。
推理是用已经学好的模型做预测。你把"帮我写一句请假消息"发给模型,它运行一次,输出"今天身体不太舒服"。推理是每次请求都发生一次,用户才感受得到。
可以这么记:训练是上学读书,推理是考试答题。书读完了,模型能不能及格,看推理这步跑得怎么样。
2. 推理的过程:一段一段地生成
大模型生成回答不像人一样想到哪写到哪。它的工作方式很特别:每次只看眼前的文字,决定下一个字写什么,然后把新字接回去,再看一遍,再决定下一个。这种机制叫自回归生成(Autoregressive Decoding)。
一次完整的推理过程可以分成两个阶段。
阶段一
Prefill:先读完输入
你的消息发出去,模型先一口气把整段输入读完。它把每个字(严格说是 Token)换算成数字,让这些数字同时经过神经网络的前向计算。这个阶段的特点是:一次性处理全部输入,算出所有中间状态。你的输入越长,Prefill 花的时间越久。第一个字迟迟没有出现,往往就是卡在这个阶段。
阶段二
Decode:逐字生成
读完输入之后,模型开始一轮一轮地生成输出。每一轮做三件事:看已有的全部文字(输入 + 已经写出的回答),给词汇表里每个可能的词打分,从候选中选一个作为下一个词。选出来的词接到原文末尾,进入下一轮。这个过程一直重复,直到模型选中了一个表示"结束"的特殊 Token。
第 1 轮 → "今天"
第 2 轮 → "身体"
第 3 轮 → "不太"
第 4 轮 → "舒服"
第 5 轮 → "。"
第 6 轮 → 遇到结束信号,停止。
生成的回答是"今天身体不太舒服。"——每个词都是上一轮的输出加上去再算出来的。
Decode 阶段不能并行——每一轮都依赖上一轮的结果,所以是顺序执行的。这是推理速度的主要瓶颈之一。
影响候选选择的还有一个关键参数:温度(Temperature)。温度低时,模型倾向于选概率最高的词,输出稳定但可能单调;温度高时,概率较低的候选也有机会被选中,输出更多样。写代码、抽字段时通常用低温;想创意、写文案时用高温试试。
3. 哪些因素影响推理速度
同样发一句话,不同场景下你等到第一字的时间不一样。来拆几个关键因素。
模型大小
模型参数越多,每一轮的计算量越大。7B 模型跑一轮几十毫秒,70B 模型跑一轮几百毫秒。大模型能力更强,但跑起来更慢。这是推理速度和模型质量之间的基本取舍。
输入长度
Prefill 阶段需要处理全部输入。你贴了一篇 5000 字的文章让模型总结,第一轮计算量远大于只发一句话的情况。所以长输入意味着首字等待时间更长。
输出长度
Decoder 每轮生成一个 Token,回答越长跑的轮数越多。每秒能生成多少个 Token(Token/s)指的是这个阶段的速度。回答从 100 字加到 1000 字,等待时间也翻大约 10 倍。
并发请求数
同一个 GPU 同时处理多个请求时,显存和算力要在它们之间分配。请求越多,每个请求分到的资源越少,速度相应下降。推理服务需要在这之间做平衡。
硬件
GPU 显存带宽决定模型参数能从显存搬到计算单元的速度。带宽越高,每轮计算越快。A100 的带宽约 2 TB/s,而普通消费级显卡低得多。有些部署方案也用 CPU 做推理,但速度慢一到两个数量级。
4. 推理优化的几个关键手段
模型推理太慢、太贵怎么办?业界研究出了几套有效方法。
手段一
KV Cache
Decode 阶段每一轮都要重新计算前面所有 Token 的注意力。这里面有很多重复劳动——前一轮算过的 Key 和 Value 矩阵,下一轮完全可以复用。KV Cache 就是把这些中间结果存起来,每轮只算新 Token 的那部分。效果很直接:省掉大量重复计算,Decode 速度翻几倍。代价是占显存——输入越长、请求越多,Cache 占的空间越大。
手段二
连续批处理(Continuous Batching)
传统批处理要等一批请求全部完成后才开始下一批。连续批处理的做法不一样:每生成完一轮,就检查哪些请求已经结束,把空出来的位置立刻补进新请求。GPU 的算力一直被填满,没有被浪费。这能显著提升推理服务的吞吐量。
手段三
推测解码(Speculative Decoding)
一个有意思的思路:用一个小模型(跑得快但质量差)先"打草稿",一次生成多候选词;然后大模型一次验证这些草稿对不对。因为大模型可以并行验证多个 Token,而小模型跑得快,整体上比大模型逐字生成更快。最关键的是,输出质量和直接用大模型一样——验证步骤保证了这一点。
还有量化(Quantization)——把模型参数的精度从 FP16 降到 INT8 甚至 INT4,模型体积缩小一半以上,推理速度也更快。代价是质量可能有轻微下降,但在许多场景下可以接受。
5. 相邻概念
模型推理不是一个孤立的知识点。你可以顺着这些概念继续深入:
- 模型部署(Deploy):把训练好的模型放到服务器上、接好 API,供用户调用。推理是部署之后才发生的事。
- 量化(Quantization):降低模型精度的优化技术,直接缩小模型体积、提升推理速度。
- 连续批处理(Continuous Batching):推理服务动态管理请求队列的方法,提升 GPU 利用率。
- KV Cache:Decode 阶段缓存注意力计算的中间结果,避免重复计算。
- 推测解码(Speculative Decoding):用小型辅助模型加速大模型推理,输出质量无损。