基础概念
概念解析——数据集构建
大模型吃数据,跟人吃饭一样——吃什么、吃多少、吃得干不干净,直接决定长得好不好。数据集构建就是那个"备餐"的过程:从互联网、书里、代码仓库把原始材料搜集回来,挑挑拣拣、去重洗清,最后配成一份营养均衡的"训练餐",端到模型面前。
1. 数据从哪来
构建数据集的第一步是找原料。原料的质量决定数据集的底子。三大来源撑起全局。
网页抓取
这是最大的一桶。Common Crawl 每月抓取数十亿网页,很多公开数据集都是从它里面筛出来的。新闻、百科、论坛帖子、技术博客,全在里面。量巨大,噪声也巨大——广告、导航栏、自动生成的垃圾文本,混在一起。
书籍与学术资料
书的语言质量远高于网页。BooksCorpus、Pile 里的 Books3 等数据集提供了数百万本书的文本。句子更完整、逻辑更严密,是训练模型"好好说话"的关键原料。学术论文也不差,术语规范、论证严谨。
代码仓库
公开的代码仓库(主要是 GitHub)提供了海量代码文本。模型训练时混入代码,大幅提升逻辑推理和结构化输出能力。The Stack、StarCoder 数据集都来自这里。
2. 过滤:从脏数据里淘金
原始材料搬回来,第一步不是用,是先筛。过滤是数据集构建里最花力气的一步。
质量启发式。写一堆规则把明显不合格的文本挑出去。太短的句子(少于 50 个字符)、标点密度过高或过低、重复内容占比过大、脏话或敏感词太多——统统不要。还有更精细的规则:检测"英语句子中混入的非英语字符比例""句子平均长度是否在合理范围"。一套成熟的过滤管线通常有几十上百条规则。
语言检测。模型大多是中英或多语混训,得知道每段文本是哪种语言。fastText 语言分类器到现在还是最常用的工具——给一段话,几十毫秒就能告诉你这是中文、英语还是斯瓦希里语。语言检测置信度低于阈值的,直接扔掉。
去毒与安全过滤。暴力、色情、仇恨言论等内容,不只要过滤掉,还要记录过滤比例——这关系到数据集发布时的透明度报告。
3. 去重:不要同一句话学一百遍
模型不该在同样的文本上反复学习。去重是防止训练数据膨胀、避免模型"背答案"的关键手段。去重发生在多个层次。
文档级去重。完全相同的文档直接去掉。MD5 哈希对比就够了。问题在于:两篇网页可能正文相同,只是多了个时间戳或广告——这时候需要模糊去重。
模糊去重。MinHash + LSH(局部敏感哈希)是标配。把文档转成一组"指纹",指纹重叠度超过阈值(比如 90%)就算重复。这能抓到大部分"内容一样但格式不同"的重复。
句子级去重。同一句话出现在不同文档里也要去。名人名言被几千个博客引用——训练时反复见到同一句话,模型会把它当真理记住。句子去重靠 n-gram 频率统计,高频句子直接剔除。
去重的力度要拿捏。去太狠,正式的表达也被当成"常见句式"删掉了,模型语言会变贫乏。去太松,重复太多浪费训练资源。
4. 合成数据:2026 年的新常态
到了 2026 年,合成数据已经不是小众玩法,而是主流方法之一。原因简单:真实世界的优质文本,快被模型吃完了。
合成数据就是用一个大模型(通常是更强的,比如 GPT-4o 或 Claude)去生成训练数据,再用这些数据去训练另一个模型。听起来像"模型吃自己拉的"——但关键在于让生成模型扮演"老师"角色,造出它没见过但合理的训练样例。
典型的玩法包括:
- 数据蒸馏:让强模型围绕一个主题批量生成问答对,成本远低于人工标注。
- 自问自答:拿一段现有文本,让模型提取出潜在的 Q&A,再把答案写出来。
- 反事实生成:给一段正确陈述,让模型造出"同一主题但错误"的版本,用来训练模型区分对错的能力。
- 多轮对话合成:让两个模型"聊天",自动生成带上下文的对话数据。
合成数据也有风险。老师模型自己有偏见,合成数据会把偏见放大。合成数据分布和真实分布有偏差,训练出来的模型在真实场景里会"水土不服"。所以现在的做法是合成数据加真实数据混着用,而不是完全替代。
5. 数据配比:怎么"端菜"有讲究
不同来源的数据按什么比例混合,是数据集构建的核心工艺。这个比例直接影响最终模型的"性格"。
通用能力。大量的网页文本——覆盖面广、常识丰富。一般占总数据量的 60-80%。
专业能力。书籍、论文、技术文档,保证深度和逻辑。大约占 10-20%。
代码能力。代码仓库占比从 0%(纯语言模型)到 30%(编程专注模型)不等。Llama 3 的预训练数据里,代码占了约 17%。
对齐数据。指令微调阶段用的数据——问答对、对话、偏好数据。量不大(几千到几百万条),但权重极高,直接决定模型"听话不听话"。
数据配比不是一次定死的。训练过程中会不断观测每个来源的"收益递减"曲线——数学数据学到一定程度后 loss 不再下降,就降低数学的配比,把训练预算让给其他还在进步的领域。
6. 许可证与治理
数据集构建不光是技术活,还越来越是个法律活。2023-2026 年,版权诉讼密集爆发,构建者必须搞清楚"我能不能用这些数据"。处理不好,整个模型可能被要求下架或删除特定数据。
许可证扫描。每个来源的文本都携带某种许可证。代码仓库里最常见的是 MIT、Apache 2.0、GPL——有些允许商用,有些要求署名,有些(GPL)有"传染性"。网页内容就更模糊了:爬了一篇新闻,它受版权保护,但"用于训练"在什么范围内算合理使用?各国法律答案不同。
数据溯源。好的数据集构建管线会记录每条数据的来源(URL、许可证、抓取时间)。这不光是为了合规,也是为了出了问题能回溯——模型学会了隐私信息,你能查到这条数据从哪来的、怎么进来的。
隐私过滤。把姓名、邮箱、电话、地址等个人信息从数据里剥离。很多地方的隐私法(如 GDPR)明确要求。
Opt-out 机制。越来越多数据所有者要求"我的数据不参与训练"。数据集维护者需要提供途径,让作者能把自己的作品移除。Common Crawl 和 The Pile 都提供这个机制。
7. 相邻概念
数据集构建不是孤立工序。顺着这些概念深入:
- 数据标注:给原始数据打标签或写答案,是数据集构建的上游准备。
- 数据清洗:对数据做去噪、纠错、标准化,是构建流程中的关键环节。
- 训练数据集:一份完整可用的训练数据长什么样、分哪几类,从宏观上理解整个概念。
- 预训练:数据集构建好了之后的第一站——用海量数据训练模型的"通识"能力。
- 微调:数据集构建的最终出口——用精品数据把通用模型调成特定领域的专家。