大语言模型

概念解析——评测框架(Harness)

你花了一个月微调了模型,效果怎么样?你用哪种方式去测量它?不同论文里的分数是在同一套标准下打的吗?这些问题指向同一个需求:一个标准化的评测框架。它像一个测试中心——你提交模型,它给你出卷子、判分、打报告。这个测试中心,业内叫 Harness。


1. 为什么要有一个框架

没有框架之前,评估模型是一件很笨的事情。每个研究团队自己写评测脚本,自己维护数据集的下载和格式转换,自己实现指标计算。A 团队测 MMLU 的脚本和 B 团队的脚本可能有细微差异——分词器不一样、prompt 模板不同、答案提取的逻辑不同——出来的分数就不能直接比较。

评测框架解决的就是这个问题:把"跑评测"这件事标准化。你只需要把模型交出来,框架负责加载数据、构造 prompt、推理、提取答案、算分、出报告。所有人都用同一套流程,分数才具有可比性。

这个需求看起来只是工程层面的便利,但它的影响远不止于此。框架的流行程度实际上决定了哪些 benchmark 会成为行业标准——框架里预先集成的数据集就是"默认被考的科目",不在框架里的 benchmark 跑的人就少。

评测框架最大的贡献不是技术,而是标准化——它让全世界的大模型分数有了可比的基础。没有它,各家说自己"世界第一"连个照妖镜都没有。

2. 主流评测框架

到今天为止,业内有几个比较主流的评测框架,各有侧重。

EleutherAI lm-evaluation-harness

社区标准

这是影响力最大的开源评测框架,由 EleutherAI(一个非营利性 AI 研究社区)维护。它支持超过 100 个 benchmark,从经典的 MMLU、HellaSwag 到各种定制数据集。框架设计上抽象出几个关键接口:模型加载、数据加载、任务定义、指标计算——你可以通过配置文件定义新任务,不需要写代码。绝大多数开源模型的论文报告分数都跑在这个框架上。支持 HuggingFace 模型、本地私有模型、vLLM 推理后端,甚至连 OpenAI 和 Anthropic 的 API 也能测。社区生态极其活跃,几乎每个新 benchmark 出来之后几天内就会有人贡献集成。

OpenCompass

中文评测生态

上海人工智能实验室(OpenDataLab)出品的开源评测平台。最大的特点是"重"——支持的数据集超过 100 个,而且对中文场景做了大量适配。C-Eval(中文综合知识)、CMMLU(中文多任务)、MMLU 的中文版全覆盖。它的另一个亮点是多模型对比报告:你可以把好几个模型放进同一个实验里跑一份完整的雷达图。OpenCompass 不仅是一个框架,还附带了一个公开排行榜(OpenCompass Leaderboard),在中国社区影响力很大。

Stanford HELM

学术派最严谨

斯坦福 CRFM 推出的 HOLISTIC EVALUATION OF LANGUAGE MODELS(HELM)项目。它强调"全息评估"——不只看准确率,而是从 7 个维度(准确率、校准度、鲁棒性、公平性、偏见、毒性、效率)打分。比如模型答对了 90% 的题,HELM 还会问你:当你把题目的措辞稍微改一改,分数还稳不稳?对不同社会群体的输出公平吗?每条输出有没有毒性?这在所有框架里是最严格的。缺点就是太重了——跑一次完整的 HELM 评测需要巨大的计算资源。很多论文只引用 HELM 中的部分测评结果。

AlpacaEval

轻量 & 对抗

由斯坦福团队(Alpaca 项目的延续)推出的轻量评测框架。思路很不一样:不使用人工标注的选择题数据集,而是用 GPT-4 或 Claude 作为裁判,评估模型对 805 条开放式指令的回复质量。它计算两个指标:胜率(Win Rate)——你的模型输出和 GPT-4 的基线输出比,用户更偏好哪个;以及长度控制胜率(LC Win Rate)——排除输出长度干扰后的修正分数。AlpacaEval 跑得快(几百条 prompt 几分钟出结果),但争议也最大:用模型评模型,偏见无可避免。

框架选型速览:
lm-evaluation-harness:社区最广,生态最大,兼容最好。首推。
OpenCompass:中文评测标配,多模型对比利器。
HELM:学术严谨,七维评估,但太重。
AlpacaEval:快速验证聊天质量,适合迭代期。

3. 框架的底层流水线

不管哪个框架,它们做的事情本质上是一样的。理解这条流水线,你就知道"跑评测"到底在跑什么。

第一步

加载模型

框架通过模型加载器连接到你的模型。可以是本地加载 HuggingFace 权重,也可以是 API 调用。框架需要知道模型的 tokenizer、上下文窗口大小、输出格式等元信息。

第二步

构造 Prompt

每个 benchmark 有自己的 prompt 模板。同样是 MMLU 的一道题,zero-shot 和 few-shot 的 prompt 结构完全不同。框架负责把这些 templates 和数据集里的题目拼成完整的输入。这一步看似简单,但陷阱很多:有没有加 system prompt?角色话术有没有歧义?few-shot example 放在哪一侧?不同框架的 prompt 构造方式不同,可能导致同一模型分数差异好几个点。

第三步

运行推理

框架把构造好的 prompt 一批一批喂给模型。这里涉及到批大小设置、是否使用缓存、是否做并行推理等。lm-evaluation-harness 支持模型级别的 vLLM 集成,在大规模评测时可以显著加速。对 API 服务,还需要考虑并发限制和延迟。

第四步

提取答案

模型输出是一段文本,但 benchmark 需要的是一个具体的答案(ABCD 或者一个数字)。框架要做"答案提取":从模型回答的整段文字中解析出得分项。比如多项选择任务,框架直接比较"A""B""C""D"四个 token 的概率,选最高的那个作为预测答案。对于生成式任务,提取逻辑更复杂——正则匹配、关键词命中、甚至调用另一个 model-as-judge。

第五步

计算指标

把提取出来的答案和参考答案对比,算出分数。不同 benchmark 用不同的指标:MMLU 用准确率(Accuracy),HumanEval 用 pass@k,GSM8K 用准确率加格式对齐检查。框架做汇总,输出一份完整报告,包含每个子任务的分数、总平均、置信区间。

你看到论文里汇报的 MMLU 分数,背后就是这条流水线的结果。如果把模型换成 API 去调用,从加载到出报告,可能只要一行命令。但每一步的细节选择都影响最终分数。

4. 框架支持的 Benchmark 生态

一个框架的价值很大程度取决于它集成了多少 benchmark。下面是一些最常被框架集成的评测数据集。

MMLU / MMLU-Pro

综合知识排名赛

几乎每个新模型的发布论文里必有 MMLU 分数。MMLU(57 个学科,四选一)已经是行业标配,分数普遍 85% 以上后有了 MMLU-Pro(10 个选项,去除简单题)。所有主流框架都内置支持。

HumanEval / MBPP

代码能力考试

HumanEval(164 道手写编程题)和 MBPP(More Black-box Program Synthesis,约 1000 道题)是代码评测的双子星。框架会构造包含函数签名的 prompt,将模型生成的代码用单元测试验证。BigCodeBench 和 SWE-bench 是更新的进阶版。

GSM8K / MATH

数学推理链

GSM8K(小学数学)考察多步推理的连贯性。MATH(高中数学竞赛级别,5000 道题)挑战更高。框架支持 chain-of-thought 格式的 prompt,以及严格的答案格式解析。

HellaSwag / WinoGrande

常识推理

HellaSwag 测常识性场景预测,WinoGrande 测代词消歧。这两个 benchmark 的分数已经快被顶级模型"吃透"了(95%+),但依然是评估的基本项目。

BIG-Bench

超大规模协作

Google 发起的社区基准测试协作项目,涵盖 200 多项任务——从常识理解到逻辑谜题到社会偏见检测。因为任务太多,框架一般不全部跑完,而是选取 BBH(BIG-Bench Hard,最难的 23 项)作为子集。

框架与 benchmark 的关系:框架是"考场",benchmark 是"考卷"。同一份考卷(MMLU 数据集)在不同的考场(lm-evaluation-harness vs OpenCompass vs HELM)里可能因为 prompt 格式不同而有 1-2 个百分点的分数差异。这是做横向比较时必须留意的问题。

5. 排行榜的两面

框架有了,benchmark 有了,接下来就是排名。排行榜(Leaderboard)是评测结果最直观的呈现方式:把模型按分数排成一列,谁在第一谁就是最强者。但这件事远没有看起来那么简单。

价值

透明与竞争

排行榜让能力变得可见。Open LLM Leaderboard(HuggingFace 主办)定期将所有开源模型跑一遍标准评测,分数和配置完全公开。你可以看到哪个 7B 模型在推理上最强,哪个 13B 模型在代码方面最优。这种透明竞争推动了开源模型的快速进化。

问题一

刷榜(Benchmark Gaming)

当分数和商业利益挂钩,"优化 benchmark 分数"本身成了一项技能。一些团队专门针对公开测试集的数据分布做后训练(post-training),提高分数但不提升实际能力。这不是作弊——数据是公开的,你确实可以拿来做训练——但这违背了评测的初衷。测试集变成训练集,分数就失去了意义。

问题二

数据泄露与污染

比刷榜更隐蔽的问题是泄露。大模型的训练数据是从互联网上大量爬取的,而很多 benchmark 的题目恰好也在互联网上公开。模型可能已经"见过"了这些题目("见到"的意思是被包含在预训练数据里),测出来的分数就不是模型"真正的理解"而是"记忆的复述"。MMLU 的题目早在训练数据采集范围内,有些模型在 MMLU 上表现突出但换成新出题的变体就大幅下降。这是当前评测最大的信任危机。

问题三

维度缺失

排行榜上只有一个数字或一列数字,但模型的能力是多维的。一个模型 MMLU 分数很高但编程能力很差,排行榜上它仍然可能排在前面——因为 MMLU 权重最高。HELM 的多维评估试图解决这个问题,但单一的排行榜数字又回到了"浓缩成总分"的老路上。

排行榜是一个强大的驱动工具,也是一个强大的扭曲工具。它驱动了竞争,也扭曲了目标。当所有人都意识到这个问题之后,评测开始往"更难刷"的方向走——LiveBench(每月更新题库)、Humanity's Last Exam(专家出题,不在网上公开)、人工对战(Chatbot Arena)。

6. 评测的最佳实践

面对这些不完美,实践中有几条建议可以让评测更可靠。

多用几个框架。不要只依赖一个框架的分数。同一个模型在 lm-evaluation-harness 和 OpenCompass 上各跑一遍,如果分数差异很大,说明某个环节出了问题。

不要只看一个指标。MMLU 准确率高不等于模型好用。配合 AlpacaEval 看对话质量,配合 HumanEval 看编程能力,配合 LLM-as-Judge 看用户偏好——多维数据才能拼出完整画像。

关注防污染策略。用新出的 benchmark(比如 2025 年之后的新专用评测集),或者用 LiveBench 这类每月换题的系统。如果必须在老 benchmark 上评测,检查模型的 log probs——如果模型对正确答案的置信度异常地高、对错误选项的置信度异常地低,可能是见过的信号。

固定评测配置。在论文或技术报告中详细记录:框架版本、prompt 模板、few-shot 的数量、max tokens、温度参数。同样的模型在不同配置下可能差 3-5 个百分点——不写清楚就等于没做。

做人类验证。自动评测有天花板,关键场景加入人工抽样检查。Chatbot Arena 的匿名对战模式是目前最接近"真实用户体验"的评估方式。


7. 相邻概念

评测框架不是一个孤立工具。顺着它你可以理解整个大模型质量保障体系的逻辑链:

  • 模型评估:评测是一个方法论概念,Harness 是它的工程实现。先理解做什么评估,再决定用什么框架。
  • 大语言模型(LLM):评测框架评测的对象。理解模型的原理才能正确解读评测结果。
  • 模型部署:评测通过后的下一步。评估结果决定了模型能不能上线、在什么场景上线。
  • 监督微调(SFT):微调前后的评估分数对比是衡量微调效果的标尺。没有框架,你都不知道微调有没有用。
概念解析 · 人工智能ABC