大语言模型
概念解析——多体裁改写(MGA)
MGA(Massive Genre-Audience)把同一篇文章,按不同读者、不同文体改写成好几份,让能拿来训练的文本成倍变多。从零喂海量文本、训出底层模型的那一步叫预训练;喂进去的那个文本库,叫语料。麻烦在于:能放心拿来训大模型的干净网页和书,快不够用了——业内把这道坎叫"数据墙"。
1. 为什么要改写:重复退化问题
一个朴素的念头:既然干净文本不够,那把现有的反复训几遍行不行?答案是不行。把同一批 token 训过 3 遍以上,模型在没见过的题目上(验证集 loss)会慢慢往上爬——业内管这叫重复退化。
多训几遍并不会让它更聪明,只是在死背训练集里的噪声。遇到没背过的内容,泛化就会变差。继续训,越训越差。
2. MGA 怎么做:三步流水线
采样 5 组(体裁, 受众)
把原文喂给一个 33 亿参数的小模型(MoE 结构),让它读完之后自己决定"这篇适合写给谁、用什么文体"。一次推理出齐 5 组,覆盖知识深度、表达风格、读者背景三个维度。不用人为每篇文章准备题库。
按配对各重写一遍
同一个改写模型,根据每对标签把原文重写成对应风格的新文档。约束条件有两个:知识点必须保留,不允许新增原文没有的事实;字面可以自由发挥——句式、用词、结构可大改。受众视角决定术语密度、举例方式、句子长度。
裁判模型筛一遍
再起一个模型当"裁判",给每个改写版本打 1-5 分。低于 3 分直接丢掉。打分时允许文风差很多,但事实必须能对照回原文,不能瞎编。通过率约 80%。
学术综述(气候科研人员):依据 IPCC AR6 报告,1850-2020 年间全球地表均温累计升幅约 1.1 ℃。
亲子科普(8-10 岁学生):地球有一件叫"大气层"的薄毛衣。工厂的烟把毛衣织得越来越厚。
新闻消息(城市白领):世界气象组织今日通报:去年全球均温较工业化前升高 1.1 ℃。
电台口播(通勤听众):好,下一条。地球今年又破了温度纪录。
政策简报(市级决策者):建议 2030 年前将单位 GDP 碳排放强度较 2020 年下降 35%。
3. 三种数据增强方法对比
预训练数据不够时,业界主要有三种应对思路:
- 直接重复训练:成本最低,但 >= 3 epoch 后验证 loss 明显抬头,13B 模型上退化最快。
- 无锚合成数据(Cosmopedia / Phi-style):用大模型照着提示"现编"新文档。算力极贵(需 70B 级别模型),事实容易漂移。
- MGA 原文重写:算力可控(3.3B 小模型),信息锚定原文。扩展倍数高(3.9x),扩到 13B 模型仍比直接重复训强。
4. Scaling 验证:模型越大越值得用
ByteDance 团队把三种数据策略分别训到 377M、1.3B、7B、13B 四种参数规模。结论很干脆:模型越大,MGA 相对"直接重复训"的优势越大。377M 时 MGA 比 baseline 高约 5 分,到 13B 时差距拉到约 7 分。挑数据策略时,最想要的就是这种"越大越值"的特性。
MGACorpus 数据集关键数字
- 源语料:FineWeb-EDU-Dedup(SmolLM Corpus 子集)
- 原始文本量:约 1950 亿字
- 扩展后:约 7700 亿字(每篇 5 个重写版本)
- 等效倍数:3.9x(经裁判模型筛选后留存)
- 数据集已在 HuggingFace 上线:ByteDance-Seed/mga-fineweb-edu
5. 什么时候该用 MGA
MGA 是为特定场景设计的,不是万能方案:
- 推荐用:预训练语料快用完了、validation loss 已经在涨、想训到 7B-13B 甚至更大规模。
- 可用但看场景:只有几万样本要做 SFT/微调(更适合 EDA/LLM 改写式 evol-instruct)。
- 不太推荐:任务必须 100% 事实精度(医学、法律终稿);算力非常紧,没有 GPU 跑改写(可复用开源 MGACorpus)。
6. 相邻概念
MGA 是数据增强的一种,容易和几个概念搞混:
- 预训练:MGA 产出的是预训练文本,不是微调数据。预训练讲更完整的数据墙和 scaling law。
- 微调(Fine-tuning):监督微调用的是人工标注的对话数据,和 MGA 的预训练改写是两回事。
- 数据集构建:从零构建训练数据的方法论框架,MGA 是其中一种具体策略。
- 知识蒸馏:让小模型去学大模型的输出,MGA 是把同一段原文改写成多份预训练文本,跟蒸馏不同。
- 监督微调(SFT):用标注数据做指令微调,MGA 产出的改写数据也可用于 SFT 阶段。