大语言模型
概念解析——多头注意力
多头注意力(Multi-Head Attention)是 Transformer 的核心组件之一。简单说:并行运行多组注意力,再把各组结果合在一起。一组注意力产生一份观察结果,模型把同一句话交给多个"头",每个头用自己的方式查找和拿回信息。2017 年 Vaswani 等人的经典论文《Attention Is All You Need》首次提出这一设计,此后所有主流大模型都在沿用。
1. 从一个头到多个头
先回顾单头注意力的工作方式。给定一个输入序列,模型为每个位置生成 Query(查询)、Key(键)、Value(值)三个向量。每个位置的 Query 去匹配所有位置的 Key,得到注意力权重,再用权重加权求和所有位置的 Value。结果是一个增强后的表示——每个位置都"看了"其他位置。
但一组 Q/K/V 只能捕获一种关系模式。一段话里同时存在多种关系:指代关系("他"指谁)、动作关系(谁对谁做了什么)、局部搭配(哪些词组成短语)、句子边界(停顿在哪)。单头注意力只能做一种权衡,多种关系挤在同一组权重里互相干扰。
多头注意力的解法很直接:不让一个头做所有事,而是用多组 Q/K/V,每组独立计算,最后把结果拼起来。
2. 头数和每头宽度
Transformer 的每一层有一个总宽度,记为 d_model(常见值:512、768、1024、4096)。多头注意力会把 d_model 均分给 h 个头,每个头分到的宽度是 d_k = d_model / h。每个头在自己的子空间里做注意力,算完之后把 h 个头的输出拼接回去,恢复 d_model 宽度。
举例:d_model = 512,h = 8,则每头宽度 d_k = 64。8 个头各自在 64 维空间里做注意力,结果拼回 512 维。这好比把一张大图切成 8 块,每块分别处理,再拼回完整图。
头数 h 是模型设计时的重要选择。GPT-2(117M)用了 12 个头,BERT-base 用了 12 个头,GPT-3(175B)用了 96 个头。头数越多,模型能同时关注的关系维度越多,但每个头的宽度也随之变窄——信息被切得更碎。
输入维度
d_model = 512,头数 h = 8每头维度
d_k = 512 / 8 = 64所有头并行计算后,输出拼接回 512 维,再经过一次线性变换。
3. 多头的完整流程
一层多头注意力的计算可以拆成五步:
同一输入变成多组 Q/K/V
输入向量经过三个不同的线性变换矩阵,分别生成 Query、Key、Value。因为要做 h 个头,实际做法是把 Q/K/V 各自拆成 h 份——用一个大的线性层一次算出来,再 reshape 分割。
每个头使用自己的一组
每个头拿到自己的 Q、K、V 子集。这些子集来自同一个输入,但由于线性变换的初始权重不同(训练中更会分化),每个头实际看到的内容侧重点不同。好比六个人看同一张照片,一个人关注颜色,一个人关注轮廓,一个人关注文字。
各头独立做注意力
每个头在自己的子空间里做标准的缩放点积注意力(Scaled Dot-Product Attention):Attention(Q, K, V) = softmax(QK^T / sqrt(d_k)) V。各个头的计算完全独立,可以并行执行——这正是多头注意力在效率上的优势。
把结果拼在一起
所有头的输出按顺序拼接,恢复 d_model 维度的张量。
再混合成统一输出
拼接后的结果经过一个线性变换(Output Projection),让来自不同头的信息充分混合。这步的目的是让模型学会怎样组合各个头的观察结果。
4. 头真的会分工吗
研究者在训练好的模型上观察注意力头的行为,确实发现了一些明显的分工倾向:某些头主要关注语法关系(如定语和中心语),某些头关注指代消解(代词和先行词),某些头关注位置邻近性(相邻词的搭配)。
但这不是"显式分工"——训练没有给每个头发岗位说明书,这些模式是模型自己学出来的。真实情况更混乱:很多头学到的模式是混合的,不同头之间会有重复,有些头甚至作用很弱,去掉也不影响最终效果(即所谓"dead heads")。
理解:多头注意力提供了"让不同模式各自找到表达空间"的可能性,但不保证每个头都学到独特且有用的模式。
5. 更多头 = 更好吗
直觉上,头数越多,模型能捕获的关系越丰富。实验也支持这一点:在合理范围内增加头数通常会提升模型质量。但收益是递减的,且存在几个约束。
计算代价。每个头都要做注意力计算和线性变换。头数翻倍,Q/K/V 线性层的参数量不变(因为总宽度固定),但注意力计算的复杂度与 h 成正比增长。在大规模模型中,注意力计算在推理时占了很大比重。
每头宽度太窄的问题。如果 d_model 固定,头数过多意味着每头宽度 d_k 过小。宽度太窄,每个头能表达的信息量受限,甚至不足以做有用的注意力匹配。实践中 d_k 很少低于 32。
内存占用。在推理生成阶段,每个头都需要缓存自己的 Key 和 Value(即 KV Cache)。头数越多,缓存越大。这对显存是直接压力。
这些约束催生了后续的注意力变体——Multi-Query Attention(MQA)和 Grouped Query Attention(GQA)。
6. MHA vs MQA vs GQA
标准的多头注意力(MHA)中,每个头都有自己独立的 Key 和 Value。MQA(Multi-Query Attention)让所有头共享同一组 Key 和 Value,只保留独立的 Query。GQA(Grouped Query Attention)则是一个折中方案:把 h 个头分成若干组,组内共享 K/V。
MHA:h 组 Query,h 组 Key,h 组 Value —— 表达能力最强,KV Cache 最大。
MQA:h 组 Query,1 组 Key,1 组 Value —— KV Cache 最小,推理最快,但表达力有限。
GQA:h 组 Query,g 组 Key,g 组 Value(g 个组)—— 折中方案,平衡速度和质量。
MQA 在 2019 年被 Google 提出,用于加速机器翻译推理。GQA 在 2023 年被 Meta 用于 LLaMA 2,成为开源大模型的主流选择。GQA 的关键参数是组数 g,典型值有 2、4、8。当 g = 1 时退化为 MQA,当 g = h 时等同于 MHA。
这一演进背后的驱动力很实际:模型越来越大,推理时 KV Cache 的显存占用越来越成为瓶颈。MQA 和 GQA 牺牲少量表达能力换取更高效的推理,是大规模部署中不得不做的取舍。
7. 相邻概念
多头注意力不是孤立机制。顺着这些概念可以深入理解它在整个 Transformer 架构中的位置:
- 注意力机制:单头注意力的完整原理,Q/K/V 的含义和计算方法。
- 多查询注意力(MQA):MHA 的高效变体,共享 Key 和 Value 以加速推理。
- Transformer:多头注意力所在的完整架构,包括位置编码、前馈网络、层归一化等组件。
- KV Cache:推理时缓存 Key 和 Value 张量的技术,是多头注意力在部署中的关键优化。