基础概念
概念解析——模型评估
大模型是个黑箱。你输入一段文本,它吐出一段文本。但它答得好不好?写代码能不能编译通过?数学题做对了没有?这些问题不能靠感觉——你需要一套方法去测量和判断。这就是模型评估(Evaluation):用系统化的方式衡量模型的性能。
1. 为什么要评估
评估不是学术圈的专利。它解决几个很实际的问题。
选模型。市面上几百个模型,每个都说自己"世界第一"。没有统一的度量衡,你根本不知道该给谁付钱。
看效果。你对模型做了微调,或者换了新的提示词——效果变好了还是变差了?没有评估就是盲人摸象。
找方向。模型代码能力弱,就在那个方向下功夫。知识面不够,就换另一种方案。评估告诉你下一步往哪儿走。
2. 评估的三个维度
今天的评估不是"对或错"的二元问题了。一个模型在三个维度上被考试:能力、安全、对齐。
能力(Capability)
模型能不能干正事?知识储备够不够,推理能力行不行,代码写得好不好,图表看不看得懂。这是最基础的维度,也是评测基准(Benchmark)最活跃的战场。GLUE、MMLU、HumanEval 这些名字,都是用来测能力的标准化试卷。
安全性(Safety)
模型会不会被用来干坏事?用户问"怎么扎破别人的车胎",模型是不是乖乖给了教程?用户表达自残倾向,模型是冷处理还是主动提供危机热线?安全评估主要考察拒绝有害请求的能力、产生偏见或刻板印象的程度,以及面对心理危机时的应对。
对齐(Alignment)
模型听不听话?它理解你真正想要什么吗?一个模型能力再强,如果总是不按你的指令行事,在实际场景里就没法用。对齐评估关注的是模型遵循指令、理解用户意图、保持行为一致的能力。RLHF(基于人类反馈的强化学习)的核心目标就是改善对齐。
3. 基准测试(Benchmark)
基准测试像大模型领域的标准化考试。大家都做同一套题,打同一个分数,才能公平比较。
综合知识大联考
Massive Multitask Language Understanding,目前影响力最大的学科知识类评测。涵盖 57 个学科——从初等数学到美国历史、法律、医学——全是四选一选择题。顶级模型已经在原版 MMLU 上接近满分,于是有了 MMLU-Pro(选项从 4 个变成 10 个,去掉送分题)和 MMMLU(多语言版,用不同语言问同一道题,看模型是真懂还是死记硬背)。
代码界的算法面试
OpenAI 发布的编程评测集,包含 164 道手写编程题。给模型一个函数签名和文档字符串(docstring),让它补全函数体,然后跑单元测试验证。通过率(Pass@1)是核心指标——只给一次机会,写对了才算。顶级模型在上面已经能拿到 90% 以上的分数。
小学数学应用题
Grade School Math 8K——8000 道小学数学级别的应用题。题目本身不难,但模型需要把自然语言描述的数学问题转化为正确的计算步骤。它测试的不是多高深的数学,而是模型能不能做"多步连贯推理"。很多模型在其他测试上表现惊艳,一到这里就露馅——步骤多了容易乱,中间算错一步后面全白搭。
研究生级别的噩梦
Graduate-Level Google-Proof Q&A。由博士专家出题,涵盖生物、物理、化学。题目难到即使把完整题目复制到 Google 上也搜不到直接答案——必须真正理解原理才能推导。这已经超越了"背题"的能力边界。当前顶级模型在这里得分堪堪超过 70%,人类专家水平大约是 80%。
"《红楼梦》的作者是谁?"
A. 李白 B. 曹雪芹 C. 鲁迅 D. 金庸
——对人类来说很简单。但换到 MMLU-Pro,选项变成 10 个,混淆度大幅提升。再换到 MMMLU,用斯瓦希里语问同一道题,很多模型就扛不住了。
常识与逻辑
给模型描述一个生活场景,让它从四个选项中选出符合常识的结局。举例:"一个人坐在车里……"——正确选项应该是"她发动了引擎",不是"她飞上了太空"。听起来简单,但模型需要理解物理世界的因果逻辑。顶级模型通过率已经超过 95%,这块基本被"吃透"了。
不考知识,只考智商
这是最特别的一个评测。它剥离了所有学科知识,只用彩色网格来测试模型的抽象推理能力——给三两对输入输出样例,让模型猜出变换规则,再应用到新的输入上。人类一眼就能看出"缺了一个角要补上",但模型看到的只有二维数组。顶级模型在这项上的得分都不太好看。
4. 自动化评估 vs 人类评估
基准测试用的是自动化方法——机器判卷。速度快、成本低、可重复。但自动化评估有天花板:选择题能测知识储备,测不出回答的自然度;单元测试能验证代码正确性,测不出代码可读性。有些东西只有人能判断。
于是有了人类偏好评估。最著名的平台是 LMSYS 的 Chatbot Arena——全球网友随机出题,随机分配两个匿名模型对战,由用户凭主观感受投票。没有题库、没有标准答案、没有满分,但排名和实际用户体验高度吻合。
还有一种介于两者之间的方法:LLM-as-Judge——用一个更强的模型(比如 GPT-4 或 Claude)给弱模型的答案打分。效率比纯人工高,但存在偏见——强模型可能会偏爱跟自己风格相似的答案。
5. 分数的陷阱
古德哈特定律说:"当一个指标变成目标时,它就不再是一个好指标。"这句话完全适用于模型评估。
当 MMLU 成为所有厂商追逐的目标,刷题和数据污染就不可避免。有些模型在 MMLU 上接近满分,但在实际使用中表现平平——它们背下了答案,但没有真正理解知识。
今天的评估正在经历一场范式转变:从"考记忆"到"考推理"再到"考实战"。SWE-bench 让模型在真实的 GitHub 仓库里修 Bug;tau-bench 让模型扮演客服,面对模拟用户的刁难;MCP-Atlas 给模型一张工具地图,看它能不能自己发现工具、阅读文档、组合调用。分数很重要,但分数不代表一切。
6. 相邻概念
模型评估不是一个孤立领域。接下来可以沿着这些概念深入:
- Harness:评测框架,如 lm-evaluation-harness 标准化了加载模型和运行评测的流程。
- Deploy:模型从训练到上线的最后一步。评估结果直接影响能否上线。
- Loss:训练时告诉模型"你错在哪里"的数学信号。评估则从外部检查模型做对了没有。
- SFT:监督微调,用人工标注的数据调整模型行为,是提升特定能力的重要手段。
- RLHF:基于人类反馈的强化学习,核心目标是对齐——让模型的行为符合人的期望。