基础概念

概念解析——训练数据集

训练数据集就是喂给 AI 模型的学习材料。模型刚造出来时什么都不会,它的全部本事——理解语言、回答问题、写代码、翻译——都是从这些材料里"看"会的。模型聪不聪明,不只靠算法和参数,更大程度上取决于它读的那批材料好不好、够不够、干不干净。


1. 什么是训练数据集

模型就像学生,训练数据集就是教材。学生能学到多少、学得正不正,先看教材选得好不好。覆盖全、表述准、没有错,学生就学得扎实。教材又偏又乱,学出来也歪。

训练数据集是一大批经过整理的文本——网页、书籍、代码、问答对、对话记录——以模型能消化的格式打包在一起。模型在训练时一遍遍"读"这些材料,从中统计出词语搭配的规律、句子的结构、知识的关联,把语言和世界的运作方式学到自己的参数里。

模型的能力,往前追一步,问的其实是"它读的训练数据集行不行"。

同一个模型,结构、参数量、训练方式完全相同,只换一套训练数据,出来的效果天差地别。喂网络闲聊段子,它答正经问题只会打哈哈;喂规范的教科书,答得有条有理。数据不同,模型就不同。


2. 好数据集的四个关键

规模

多大才够

大语言模型需要的文本量是天文数字。GPT-3 在约 5000 亿 token 上训练,到 Llama 3 已经是 15 万亿 token。顶尖模型预训练阶段通常要在 10 万亿 token 以上的语料上跑过。规模不够,模型学不到足够的语言模式和知识,就像学生只读了一本薄册子就去考试。

质量

干净比多更重要

很多人以为数据越多模型越强。实际上掺进去的脏数据会把好东西冲淡。Meta 训练 Llama 2 时去掉重复数据,数据量小了一截,模型反倒更好。脏数据包括:乱码段落、机器生成的废话、错误信息、低质重复的内容。一条好数据胜过十条凑数的。

多样性

光靠一类学不会全部

模型要能应对各种场景,训练数据就不能偏。只喂代码,模型写诗不行;只喂文学,模型做逻辑题不行。好的数据集覆盖新闻、论文、代码、对话、百科、小说等多个领域,让模型从不同风格的文本里学到通用的语言能力。

分布

配比决定性格

数据不是倒在一起就行。各类数据的配比直接影响模型的行为偏向。代码多一些,逻辑推理变强;教科书多一些,用语更正式;对话多一些,更会闲聊。顶尖团队花大量精力调这个配比,它直接决定模型的"性格"。

数据配比示意:Llama 3 的训练数据大致是:网页抓取(CommonCrawl 等)占大头,约 50%;代码(GitHub)占 15-20%;书籍(含学术论文)占 15-20%;多语言数据、对话数据等各占若干百分比。具体配比各家不公开,但思路一致:用"优质但量少"的数据(书、论文)拉住质量,用"量大但杂"的数据(网页)撑起覆盖。

3. 规模对比:预训练数据 vs 指令数据

很多人以为训练只有一种数据。其实模型训练分阶段,每个阶段喂的数据类型和规模完全不一样。

预训练数据的量最大。一个 70B 参数的模型,预训练阶段要读 10 万亿 token 以上的文本。假设一本书 10 万 token,10 万亿相当于十亿本书。这些数据从全网爬取,量大、面广、但比较脏,模型从中学会语言的基本规律和广泛知识。

指令数据(SFT)的量小得多。监督微调阶段只需要几千到几十万条问答对。每条数据是一条明确的"指令 → 理想回答"。数据量不需要大,但质量要求极高:回答要准、格式要对、风格要一致。好比预训练是让学生读了一个图书馆,指令微调是拿几道例题教他怎么答题。

偏好数据的量介于两者之间。偏好对齐阶段用几万到几十万条对比数据——同一个问题给两个回答,人标出哪个更好——告诉模型"这样答比那样答更招人喜欢"。

三条腿:海量语料打底子(预训练),指令数据教听话(SFT),偏好数据调口味(对齐)。缺哪条,模型就缺哪块本事。

4. 数据拼盘:训练集里都掺了些什么

一个现代大模型的训练数据集不是单一来源,而是一份精心配比的混合拼盘。主要的原料有五种。

网页抓取(CommonCrawl 等)。这是最大的一桶。Common Crawl 是一个非营利组织提供的互联网快照,每月爬取量在数十亿网页。几乎所有大模型都拿它当底料。优点是量大、覆盖广、便宜;缺点是质量参差不齐——里面有新闻、个人博客、论坛帖子、电商页面,甚至垃圾站的内容。

书籍。经过出版社审校的书籍是质量最高的数据源之一。大模型团队会扫描数十万册电子书,涵盖文学、历史、科学、哲学等各门类。Books3 等公开数据集曾被多家模型使用,但也引发了版权争议。

代码。GitHub 上的公开仓库是代码数据的最大来源。代码对模型的逻辑推理能力帮助极大——它要求的不是"说得顺",而是"逻辑对、能跑通"。The Stack 数据集包含了超过 6TB 的公开代码。

学术论文。arXiv 论文、教科书、技术报告提供了高度结构化、引用严谨的高质量文本。它们对模型回答专业问题的能力至关重要。问题是数量有限——全世界论文加在一起也没多少。

多语言数据。光喂中文和英文不够,模型需要覆盖更多语言。维基百科用上百种语言写成,是多语言训练的常用来源。高质量多语言数据比英文数据更难找,这也是非英文语言模型效果不及英文模型的根本原因。

实例:GPT-3 的训练数据来源包括:CommonCrawl(过滤后约 4100 亿 token)、WebText2(约 190 亿 token)、Books1/Books2(约 110 亿 token)、维基百科(约 30 亿 token)。CommonCrawl 占绝对大头,但书籍和百科虽然量少,对模型质量的提升贡献很大。

5. 数据墙:高质量文本快要不够了

大模型越做越大,需要的文本量增长更快。但地球上优质文本的总量有限。这就是"数据墙"(Data Wall)问题。

研究机构 Epoch AI 在 2024 年发表过一份测算:模型训练的数据需求按当前速度增长,高质量的公开文本数据——书籍、新闻、论文、百科——可能在 2028 年前后就会被耗尽。到那时,模型想要更大的数据集,就不得不依赖低质量的网页数据或机器合成数据。

这个局面已经引发几个方向的反制。一是用合成数据(让强模型自己生成训练材料),二是用多模态数据(图片、视频、音频也可以作为训练信号),三是拼命提升数据效率(用更好的算法从现有数据中榨出更多学习量)。但目前还没有一个方向能替代真实的高质量文本。

训练数据从"想爬多少爬多少"的阶段,正在转向"优质数据是稀缺资源"的阶段。数据的采集、清洗、标注、配比——几年前被当成体力活的事情——正在成为模型竞争力最核心的壁垒。

模型越大,数据越缺。"数据墙"可能是未来几年大模型发展最硬的约束之一。

6. 从原始材料到训练集:四关

网上扒下来的原始材料不能直接喂给模型,得先走一条流水线。

收集。从网页抓取、公开数据集、人工编写、模型合成等来源攒材料。这时候它又多又乱。

清洗。把重复、乱码、低质、有害的样本剔掉,统一格式。洗完量变少了,但变干净了。

标注。给数据加上标签或标准答案:指令配回答、两个回答比好坏。让模型有正确的方向可学。

打包构建。把整理好的数据切块、配比、转成模型能读的二进制格式,导出成可以直接喂进训练的最终数据集。


7. 相邻概念

训练数据集不是孤立概念。顺着这些方向能看清整条"数据→模型"的链条:

  • 数据标注(Data Annotation):给原始数据加标签和标准答案的过程。没有标注就没有 SFT 数据和偏好数据。
  • 数据集构建(Dataset Construction):把清洗、标注好的数据打包成模型可直接读取的格式,涉及配比、分片、tokenization。
  • 数据清洗(Data Cleaning):去除重复、低质、有害内容的流程,是决定数据质量最关键的一步。
  • 预训练(Pretrain):模型训练的第一阶段,在海量无标注语料上学习语言规律。最消耗数据量的阶段。
  • 监督微调(SFT):用少量高质量问答对让模型学会听懂指令、按要求输出。
概念解析 · 人工智能ABC