基础概念

概念解析——精度格式

精度格式说的是:模型里每个数字用多少个二进制位来存,以及这些位怎么切分。模型说到底就是几十亿个小数拼起来的。每个小数都得用一串 0 和 1 表示。用的位越多,数字存得越准、范围越大,但也越占空间。选哪种,是在存得准不准和省不省空间、跑得快不快之间做取舍。


1. 一个浮点数,由三部分拼成

先搞清楚计算机怎么存一个小数。回想中学的科学计数法:3140 写成 3.14 x 103。一个数被拆成正负号、有效数字、小数点放哪三件事。计算机存浮点数也是这套思路,只不过背后用 0 和 1 表示。

一串二进制位切成三段:

  • 符号位(1 位):0 正 1 负。所有格式都花这 1 位。
  • 指数位:决定小数点能往左右挪多远,管的是范围——这个数能有多大、多小。
  • 尾数位:保留有效数字的位数,管的是精度——小数能存得多准。

位是有限的,给了范围就少了精度,反过来也一样。每种格式都是在这两件事之间挑一个平衡点。

记住这句就够了:指数位管能多大,尾数位管有多准。选什么格式,就是在这两件事上做取舍。

2. 精度阶梯:从 FP32 到 INT4

模型训练和推理中,最常见的精度格式按位宽从高到低排成一条阶梯。

FP32(32 位)

单精度浮点数,IEEE 754 标准。1 位符号 + 8 位指数 + 23 位尾数。范围广、精度高,一个数占 4 字节。训练时的标准答案——最准最稳,但最占显存。现在很少用 FP32 跑完整训练,太贵了。

FP16(16 位)

半精度浮点数。1 位符号 + 5 位指数 + 10 位尾数。一个数占 2 字节,比 FP32 省一半空间。代价是指数位只有 5 位,能表示的最大数约 6.5 万。训练时数值一大就容易装不下,直接变成 inf(无穷大),训练崩掉。

BF16(16 位)

Google Brain 发明的脑浮点格式。同样 16 位,但切法不一样:1 位符号 + 8 位指数 + 7 位尾数。指数位留足,范围跟 FP32 一样宽,尾数只剩 7 位存得糙一点。训练时别溢出比多几位小数更要命,所以 BF16 成了大模型训练的首选。

FP8(8 位)

2023 年才定型的浮点格式,由 NVIDIA、Arm、Intel 联合制定(OCP 标准)。有 E4M3(指数 4 位 + 尾数 3 位)和 E5M2(指数 5 位 + 尾数 2 位)两种变体。一个数只占 1 字节。FP8 以前主要用在推理,现在已经能用来训练了——DeepSeek-V3 就是用 FP8 大规模训出来的。

INT8 / INT4(整数)

整数格式,没有指数位。通常用一个缩放比例把浮点数范围映射到整数的取值区间。INT8 压到 1 字节,INT4 压到半字节(4 位)。压得比浮点更狠、更快,但精度损失更明显,主要用在推理阶段。

FP32 最准、最占空间;BF16 训练首选,范围宽精度够;FP8 又小又快,正走进训练;INT8/INT4 压得最狠,主要用在推理。

3. 省多少:各格式的显存对比

用一个 7B 参数(70 亿个数字)的模型来算:

  • FP32:70 亿 x 4 字节 = 28 GB。单卡都放不下很多人,需要多卡分着训。
  • BF16 / FP16:70 亿 x 2 字节 = 14 GB。省一半。一张常规 GPU(24 GB 显存)能放下,还留了空间做计算。
  • FP8:70 亿 x 1 字节 = 7 GB。省了四分之三。更小的模型单卡就够。
  • INT4:70 亿 x 0.5 字节 = 3.5 GB。消费级显卡也能跑 7B 模型了。

省下来的显存可以塞更大的模型、更大的批次,或者在同一块卡上跑更多推理任务。这就是精度压缩的驱动力。

一个值得注意的细节:BF16 和 FP16 同样用 16 位(2 字节),省的空间一模一样。差的是数值范围和精度——BF16 范围宽但精度低,FP16 精度高但范围窄。内存占用相同,选哪个看任务。

所以看到模型文件标注 F16 或 BF16,省的空间一样,区别在数值表现上。

4. 对模型质量的影响

降精度肯定有损失,问题是损多少、能不能接受。

FP32 到 BF16:在绝大多数任务上准确率几乎不掉。7B 模型在 BF16 下的困惑度和 FP32 差别在 0.1% 以内。原因很简单——训练时主导误差的是梯度的随机性,而不是精度舍入。这就是混合精度训练有效的前提。

FP32 到 FP8:损失开始明显。训练时需要用一些技巧(如分块量化、动态缩放)来补偿精度丢失。DeepSeek-V3 的技术报告显示,FP8 训练的模型在大部分评测上跟 BF16 训练的基本持平,但在某些敏感任务(如数学推理)上有小幅下降。

FP32 到 INT4:推理时损失较明显。常见做法是做权重-激活联合量化(W4A16:权重 4 位、激活 16 位),配合校准集的量化感知训练,把精度损失控制在可接受范围内。

关键认知:精度压缩不是非黑即白的。大多数场景下,BF16 到 FP8 的精度损失远小于模型提升一个参数量级带来的收益。你省下来的显存,通常更值得用来增大模型或增加数据。


5. 硬件支持:哪块卡能跑什么格式

精度格式不是软件层面的任意选择——你的 GPU 必须原生支持才能发挥性能。以下是最常见的硬件兼容性盘点:

  • NVIDIA V100(2017):原生支持 FP32、FP16。没有 BF16 硬件单元。Tensor Core 支持 FP16 混合精度。
  • NVIDIA A100(2020):原生支持 FP32、FP16、BF16、INT8。新增 BF16 Tensor Core。引入 TF32(一种自动降精度的训练模式)。
  • NVIDIA H100(2022):原生支持 FP32、FP16、BF16、FP8、INT8。首次加入 FP8 Tensor Core,吞吐翻倍。
  • NVIDIA Blackwell(2024):在 FP8 基础上新增 FP6、FP4 支持。让更激进的低精度训练变得可能。
  • AMD MI250 / MI300:支持 FP32、FP16、BF16。MI300 加入 FP8 支持。
  • Intel Gaudi 2 / 3:支持 FP32、BF16、FP8。Gaudi 系列默认用 BF16 训练。
  • Apple M 系列 / 高通:主要在推理侧,支持 FP16、INT8 量化,部分支持 FP4。

选哪种精度格式,先查你的硬件支持哪些格式。如果硬件不支持 BF16 Tensor Core,你代码里写了 BF16 也不会加速——它会降级到 FP32 模拟,反而更慢。


6. 混合精度训练:各取所需

训练就是模型反复猜答案、对答案、改自己。改自己要算出每个数字该往哪调(叫梯度),再把调整累加到模型那堆数字(叫权重)上。

这些步骤里,有的算量大但不怕糙,有的一糙就出错。聪明的做法是分开对待:

  • 前向计算(算预测):量大、对精度不敏感,用 FP8 / BF16 算得快、省显存。
  • 反向计算(算梯度):同样量大,低精度足够。
  • 更新权重(攒变化):误差会累积,这步保留高精度(FP32),别让小数丢光。

这叫混合精度训练。主流框架(PyTorch AMP、DeepSpeed、Megatron)都内置支持,几行代码就能开启。跟全程 FP32 比:显存省一大截、训练快很多,准确率几乎不掉。这是 2026 年的主流练法。

混合精度训练示意:
权重副本始终保留一份 FP32(叫 master weights)。
每步计算时,把这批 FP32 权重降成 BF16/FP8 做前向和反向。
算出梯度后转回 FP32,累加到 master weights 上。
这样每次降精度的舍入误差只影响单步,不会长期累积。

7. 精度格式 vs 量化:到底差在哪

这两个词老一起出现,也老被搞混。都是为了让模型更小更快,但动的东西不一样。

精度格式(本文主题):换一种浮点数。FP32 到 BF16 到 FP8,存的还是带小数点的小数,只是位数变少、切法变了。位越少越省,但能存的范围和精度也跟着缩。

量化:通常把小数换成整数(INT8 / INT4),再配一个缩放比例还原回去。压得比浮点更狠,更小更快,但精度损失更剧烈,需要小心处理校准过程。

两者经常一起用:训练用 BF16/FP8 混合精度,推理时再量化到 INT8/INT4 进一步压缩。理解精度格式是理解量化的先修课。


8. 相邻概念

精度格式不是孤立话题。你接下来可以顺着这些概念深入:

  • 量化(Quantization):把浮点数压成整数,比换精度格式压得更狠,常跟它一起用。
  • 模型部署(Deploy):选哪种精度,直接影响部署要多少显存、跑多快。
  • 模型推理(Inference):推理时精度可以比训练更低,是量化落地的主要场景。
  • ONNX:跨框架模型格式,导出时常需要指定精度格式,不同格式的兼容性差别大。
  • 训练数据集:数据量和精度选择有关——数据越多,模型对精度损失的容忍度越高。

概念解析 · 人工智能ABC