基础概念

概念解析——ONNX

ONNX(Open Neural Network Exchange)是微软 2017 年开源的神经网络交换格式。它是 AI 模型之间的"通用语"。在 PyTorch 里训练好的模型,导出一个 .onnx 文件,就能在手机、浏览器、C++ 服务端、树莓派上原样运行,不需要重写。


1. 没有 ONNX 的时候有多麻烦

PyTorch 训好了一个图片分类模型。现在要让它在手机 App、浏览器网页、公司后端服务器上都能跑。每个环境有自己的运行方式——手机用 CoreML,浏览器用 WebGL 或 WebGPU,服务端用 C++ 推理库。没有统一格式,就得为每个环境单独翻译一遍模型,顺序对齐、算子替换、反复调试。

模型越多、环境越多,维护成本跟着翻倍。四个环境就是四套重写工作,每套都得保证跟原模型输出一致——算子对不上,结果就差了。

ONNX 要解决的就是这个问题:训练一次,到处部署。它充当一个中间格式,各方都认。

场景:PyTorch 训的模型 → 导出为 model.onnx → 同一个文件直接在手机、浏览器、C++ 后端上跑。
没有 ONNX:PyTorch → 重写为 CoreML / 重写为 ONNX.js 算子 / 重写为 TensorRT。三份工作。

2. .onnx 文件里装的是一张计算图

ONNX 的核心概念是中间表示(Intermediate Representation,简称 IR)。模型归根到底是一连串运算:输入数字进来,做矩阵乘法、加偏置、过激活函数,最后输出结果。ONNX 把这串运算画成一张有向图——每个节点是一个算子(Operator),数据沿着边流动。

一个简化的 .onnx 计算图长这样:

输入 → MatMul(矩阵乘) → Add(加偏置) → Relu(激活函数) → 输出

ONNX 格式不关心你当初用 PyTorch 的什么 API 写出来的网络——它只记录"要做哪些运算、按什么顺序、参数是多少"。任何框架只要学会读这张图,就能照着算。这就是跨框架互操作的根基。

模型的权重也打包在 .onnx 文件里,跟计算图一起。一个文件,结构和参数全齐。

你不需要知道模型当初用的是什么训练框架。ONNX 把"模型长什么样"标准化了,剩下的只是怎么去"算"它。

3. 真正算出来的,是 ONNX Runtime

光有 .onnx 文件还不够——得有个程序去读这张图、照着把运算做完。这个程序最常用的是微软开源的 ONNX Runtime。

ONNX Runtime 最实用的本事:同一个 .onnx 文件,能自动用上当前机器最快的硬件。有 NVIDIA GPU 就用 CUDA 或 TensorRT,手机 NPU 就用 CoreML 或 NNAPI,啥都没有就用 CPU 兜底。改的不是模型,切换的只是 ONNX Runtime 内部的一个 Execution Provider。

这套设计把模型和硬件解耦了。写模型的人不用管部署在哪;部署的人不用管模型怎么训出来的。各管各的,中间由 ONNX Runtime 对接。

举个例子:同一个 model.onnx,在 MacBook 上走 CoreML Execution Provider 跑得飞快;推到服务器上去了,ONNX Runtime 自动切换到 CUDA Execution Provider,文件没动一行。

4. 常见坑:不是导出就一定顺

说 ONNX"点一下就全平台跑通"是骗人的。真实场景里最常卡在两件事上。

第一,opset 版本对不上。ONNX 有一个算子规范词典,每更新一次就升一个 opset 版本号。导出时版本太高,运行端的 ONNX Runtime 可能不认识新算子。解决方式:导出时指定一个双方都支持的 opset 版本,别追最新的。

第二,有些算子还没被 ONNX 收录。模型里用了比较新或比较冷门的操作,ONNX 的算子表还没有它,导出会直接报错。解决方式:换一种等价写法绕开,或者等 ONNX 后续版本补上支持。

这些坑不是 ONNX 独有的——任何跨框架的中间表示都面临同样的取舍。标准化意味着收敛到一个公共子集,难免覆盖不了所有特性。

ONNX 是"大多数场景的通用解",不是"所有场景的万能解"。好在 2026 年的覆盖已经相当好了——主流的 CNN、Transformer、语音模型基本都能顺利导出。

5. ONNX 与相邻格式

在 Hugging Face 上会同时看到 .safetensors、.onnx、.gguf 这三种后缀。它们管的是不同的事:

  • safetensors——只存权重数字,不存结构。加载快、安全,但不知道模型怎么搭的。
  • ONNX——存整张计算图(结构 + 权重),为跨框架跨设备设计。
  • GGUF——本地跑 LLM 的打包格式,权重 + 量化 + 运行元信息一锅端,专为 llama.cpp / Ollama 这类工具。

在大语言模型这块,本地推理大多用 GGUF;但在传统模型、跨平台部署、手机和浏览器端,ONNX + ONNX Runtime 仍是最通用的选择。此外 ONNX 还跟 TensorRT(NVIDIA 的推理优化引擎)和 CoreML(Apple 的设备端推理引擎)有转换通道——可以在 ONNX 生态里做好导出,再针对具体硬件做精调。


6. 相邻概念

理解 ONNX 之后,这几个概念可以接着看:

  • 精度格式(Precision Formats):模型 weights 用多少位浮点数存。ONNX 支持 FP32 / FP16 / FP8 多种精度。
  • 模型部署(Deploy):把模型真正跑成线上服务。用 ONNX Runtime 起推理服务是一条主流路线。
  • 模型量化(Quantization):用 INT8 / INT4 替代浮点,大幅压缩模型大小和加速推理。ONNX Runtime 直接支持量化模型的加载和运行。
  • Safetensors:只存权重、不存图的安全格式,经常跟 ONNX 一起出现。
  • GGUF:本地跑 LLM 的主流格式,与 ONNX 对标不同场景。

参考

  1. ONNX 官方文档 — onnx.ai
  2. ONNX Runtime 官方文档 — onnxruntime.ai
  3. Open Neural Network Exchange · Microsoft / Meta, 2017
  4. ONNX: Open Standard for Machine Learning Interoperability · arXiv:2205.02529
概念解析 · 人工智能ABC