基础概念

概念解析——模型量化

一个语言模型说到底就是几十亿个数字(权重)拼起来的。每个数字默认占 32 位(4 字节)。模型量化就是把每个数字用更少的 bit 存——比如 32 位压到 4 位。模型变小了、跑得快了,质量几乎不掉。


1. 量化是什么

学过编程的人都知道,计算机里的浮点数(float)有 32 位、64 位两种最常见。一个 70B 模型,光把权重载入显存就要 280 GB——4 张 A100 都放不下。但实际跑推理时,大部分场景并不需要那么高的数值精度。

量化的直觉很简单:原始权重是在数轴上连续取值的小数,量化把它切成 2 的 n 次方个格子,每个权重被挪到最近的那个格子中心。切得越粗(bit 越小),格子越少,挪动的距离越远——误差就是这么来的。

示例:一个权重 0.847291,在 FP32 里精确保留 6 位小数;如果压到 INT4(16 个格子),它可能变成 0.875——差 0.0277。一个 70B 模型里 700 亿个权重每个都有一点这样的误差,合起来就体现在输出质量上。

2. 精度阶梯:FP32 → FP16 → INT8 → INT4

量化不是只有"压"和"不压"两种状态。它是一条连续的精度阶梯,从高到低大致分这么几档:

FP32(32 位浮点)——训练时的标准精度,每个权重占 4 字节。模型训好之后,几乎没有人拿 FP32 做推理,太浪费了。

FP16 / BF16(16 位浮点)——推理时"无损"的默认起点。每个权重占 2 字节。一个 70B 模型从 280 GB 降到 140 GB。BF16 比 FP16 有更大的数值范围(指数位更多),很多现代训练也用它。

INT8(8 位整数)——每个权重占 1 字节。70B 模型降到 70 GB。质量损失几乎无法察觉。在 Hopper 架构的 GPU 上,INT8 有专门的张量核加速。

INT4(4 位整数)——2026 年的事实标准。每个权重占 0.5 字节。70B 模型到 42 GB,双 4090 就能跑。质量保留普遍在 99% 以上,绝大多数场景下分辨不出跟 FP16 的差别。

INT3 / INT2(3 位 / 2 位)——压到极限。3 位还能接受(质量保留约 95%),2 位就明显崩了(质量掉到 76% 左右)。极少数场景有用,但通常不推荐。

1.58-bit(三元 {-1, 0, +1})——还在研究阶段,但进展很快。BitNet b1.58 证明了权重只用三个值也能达到接近同尺寸小模型的效果,而且推理时几乎全部是加法、不涉及乘法。

今天云上推理服务还跑 FP16 基本是把钱往海里扔。INT4 和原生的差距小到用户感觉不出来,但显存省了 4 倍、速度翻了 2-3 倍。

3. 为什么要量化

好处写在明面上,一共三条。

第一,模型变小。一个 70B 模型,FP16 要 140 GB,INT4 只要 42 GB。差 3 倍多。这意味着低端显卡也能跑,MacBook 也能跑,手机也能跑。

第二,推理变快。更小的数字意味着每次计算能同时处理更多数据。INT4 的理论吞吐是 FP16 的 4 倍。加上显卡张量核的硬件加速,实际提升非常可观。一个 Llama 3 70B Q4 在双 4090 上能达到 22 tok/s,足够流畅对话。

第三,功耗更低。小数字每一步操作都更省电。在数据中心,省电就是省钱。一个 FP8 训练方案比 BF16 省 40% 以上的能耗——DeepSeek V3 671B 就是最好的证明。

代价当然也有:精度下降、输出质量可能轻微劣化、部分量化方案需要校准数据、极低 bit 下会碰上严重的质量塌方。但花一点点质量损失,换来数倍的效率提升,这笔账怎么算都划算。


4. 质量损失:到底掉多少

量化领域最常被追问的问题:压到 INT4 到底差多少?

答案是:几乎感觉不到。现代量化算法(AWQ、GPTQ)配合优秀的校准策略,INT4 对比 FP16 的质量损失普遍在 1% 以内。什么叫 1%?MMLU 从 68.5 掉到 68.0,你在对话中不可能分辨出来。

Perplexity(困惑度)是衡量语言模型质量最常用的指标之一。AWQ INT4 在 Llama 2 70B 上的 perplexity 增长不超过 0.1。对比一下:从 Llama 2 70B 换成 Llama 2 7B,perplexity 差 2-3 个点——量化的损失比换小模型小得多。

INT3 开始出现可察觉的偏差。INT2 基本不可用(除非模型本身很鲁棒)。所以 2026 年的业界共识是:INT4 是甜蜜点,INT3 是有条件使用,INT2 是应急手段。

一个常见误解:"量化就是用更少的 bit 存同一个数"——不,它是用更少的精度表示同一个值的范围。比如 [-1, 1] 这个范围,FP32 里有无穷种表示,INT4 只能选 16 种。量化就是在 16 格里找到最接近的那一格。

5. 量化方法:PTQ vs QAT vs GGUF

训练后量化(PTQ)

拿训好的模型直接压

主流的做法。模型已经训好了,拿着它做一次"后处理":跑一小批校准数据,观察每个权重对输出的影响,然后挑出最合适的低精度表示。代表算法有 GPTQ(2022,逐层用二阶信息找最优解)和 AWQ(2023,发现 1% 的权重承担 99% 的质量责任,把它们单独留高精度,剩下的随便压)。

好处是快,不需要重新训练。坏处是 bit 越低损失越大,到 2-bit 基本救不回来。

量化感知训练(QAT)

训练时就模拟量化的效果

在训练过程中就假装权重已经被量化了(forward 走量化路径,backward 仍然用浮点梯度更新)。这样模型在训练阶段就知道了"自己的权重将来要被压短",于是学得更鲁棒。QLoRA 把 QAT 的思路跟 LoRA 结合:底模压到 NF4(一种 4-bit 格式),只训一小撮可调参数——单张 24GB 卡就能微调 70B 模型。bitsandbytes 是它的主力实现。

GGUF 格式

打包,不是压缩

GGUF 跟上面两个不在一层。它是个文件格式——把压好的权重、tokenizer、模型结构信息全装进一个 .gguf 文件。压数字这一步用的是 llama.cpp 的 K-quant 系统(Q4_K_M 等十几档),能在小块级别混合精度。GGUF + Ollama / LM Studio 是 Mac 和消费级显卡上跑 LLM 的事实标准。

三种东西你都会遇到。选 GPTQ / AWQ 还是 GGUF,看你是部署服务还是本地跑。

选方案的口诀:云上用 AWQ,本地下 GGUF,微调用 QLoRA。三个场景不要选错。

6. 谁用什么:边缘 vs 云端

量化在不同的硬件场景里有不同的含义。

云端服务。AWQ INT4 占据绝大多数 vLLM / TensorRT-LLM 部署。Hopper 起的硬件原生支持 FP8,Blackwell(B200)直接给了原生 FP4 张量核。云上跑 LLM 已经没人跑 FP16 推理了。

本地消费级。GGUF(Q4_K_M)是 95% 用户的甜蜜点。Mac unified memory 让"在自己电脑跑 70B"变成日常。Mac Studio M4 Ultra 192GB 甚至可以跑 Llama 3 70B Q8——这是两年前需要 4 张 A100 才能干的事。

训练 / 微调。FP8 训练已经从概念验证变成工业标准。DeepSeek V3 671B 用纯 FP8 训练了 14.8T tokens,loss 偏差仅 0.25%。QLoRA NF4 是单卡微调的最佳路径。BitNet b1.58 正在把 1-bit 从推理前移到训练阶段。


7. 相邻概念

量化不是一个孤立概念。顺着这些概念,你可以深入理解模型压缩和部署的全景:

  • 精度格式(Precision Formats):FP32 / BF16 / FP8 这些浮点格式的底层细节,理解了它们你就知道量化是从哪种精度往下压的。
  • 模型部署(Deploy):vLLM / Ollama 这些工具怎么把量化好的模型真正起成服务。
  • GGUF:量化模型最流行的打包格式,Q4_K_M 这些档位名到底怎么读。
  • ONNX:另一种模型交换格式,也支持量化,常用于边缘设备和跨框架部署。
  • 模型推理(Inference):量化只是推理优化的一种手段。还有算子融合、KV cache、FlashAttention。

参考资料

  1. Frantar et al. "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers." arXiv:2210.17323, 2022.
  2. Lin et al. "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration." arXiv:2306.00978, 2023.
  3. Dettmers et al. "QLoRA: Efficient Finetuning of Quantized Language Models." arXiv:2305.14314, 2023.
  4. Wang et al. "BitNet b1.58: 1-bit LLM." arXiv:2504.12285, 2025.
  5. DeepSeek-AI. "DeepSeek-V3 Technical Report." arXiv:2412.19437, 2024.
  6. llmhardware.io / insiderllm.com – 2026 年 LLM 硬件综合实测数据。
概念解析 · 人工智能ABC