大语言模型

概念解析——多体裁改写(MGA)

MGA(Massive Genre-Audience)把同一篇文章,按不同读者、不同文体改写成好几份,让能拿来训练的文本成倍变多。从零喂海量文本、训出底层模型的那一步叫预训练;喂进去的那个文本库,叫语料。麻烦在于:能放心拿来训大模型的干净网页和书,快不够用了——业内把这道坎叫"数据墙"。


1. 为什么要改写:重复退化问题

一个朴素的念头:既然干净文本不够,那把现有的反复训几遍行不行?答案是不行。把同一批 token 训过 3 遍以上,模型在没见过的题目上(验证集 loss)会慢慢往上爬——业内管这叫重复退化。

多训几遍并不会让它更聪明,只是在死背训练集里的噪声。遇到没背过的内容,泛化就会变差。继续训,越训越差。

MGA 想做的事:让每一遍训练看到的字面都不一样,背后的知识却还是同一份。

2. MGA 怎么做:三步流水线

第一步

采样 5 组(体裁, 受众)

把原文喂给一个 33 亿参数的小模型(MoE 结构),让它读完之后自己决定"这篇适合写给谁、用什么文体"。一次推理出齐 5 组,覆盖知识深度、表达风格、读者背景三个维度。不用人为每篇文章准备题库。

第二步

按配对各重写一遍

同一个改写模型,根据每对标签把原文重写成对应风格的新文档。约束条件有两个:知识点必须保留,不允许新增原文没有的事实;字面可以自由发挥——句式、用词、结构可大改。受众视角决定术语密度、举例方式、句子长度。

第三步

裁判模型筛一遍

再起一个模型当"裁判",给每个改写版本打 1-5 分。低于 3 分直接丢掉。打分时允许文风差很多,但事实必须能对照回原文,不能瞎编。通过率约 80%。

同一篇气候变化原文的 5 份改写(示意):
学术综述(气候科研人员):依据 IPCC AR6 报告,1850-2020 年间全球地表均温累计升幅约 1.1 ℃。
亲子科普(8-10 岁学生):地球有一件叫"大气层"的薄毛衣。工厂的烟把毛衣织得越来越厚。
新闻消息(城市白领):世界气象组织今日通报:去年全球均温较工业化前升高 1.1 ℃。
电台口播(通勤听众):好,下一条。地球今年又破了温度纪录。
政策简报(市级决策者):建议 2030 年前将单位 GDP 碳排放强度较 2020 年下降 35%。

3. 三种数据增强方法对比

预训练数据不够时,业界主要有三种应对思路:

  • 直接重复训练:成本最低,但 >= 3 epoch 后验证 loss 明显抬头,13B 模型上退化最快。
  • 无锚合成数据(Cosmopedia / Phi-style):用大模型照着提示"现编"新文档。算力极贵(需 70B 级别模型),事实容易漂移。
  • MGA 原文重写:算力可控(3.3B 小模型),信息锚定原文。扩展倍数高(3.9x),扩到 13B 模型仍比直接重复训强。
MGA 在算力性价比、多样性、事实真实度、Scaling 上限四个维度上取得了较好的平衡。论文 Figure 4 显示,模型越大,MGA 相对"直接重复训"的优势越明显。

4. Scaling 验证:模型越大越值得用

ByteDance 团队把三种数据策略分别训到 377M、1.3B、7B、13B 四种参数规模。结论很干脆:模型越大,MGA 相对"直接重复训"的优势越大。377M 时 MGA 比 baseline 高约 5 分,到 13B 时差距拉到约 7 分。挑数据策略时,最想要的就是这种"越大越值"的特性。

MGACorpus 数据集关键数字

  • 源语料:FineWeb-EDU-Dedup(SmolLM Corpus 子集)
  • 原始文本量:约 1950 亿字
  • 扩展后:约 7700 亿字(每篇 5 个重写版本)
  • 等效倍数:3.9x(经裁判模型筛选后留存)
  • 数据集已在 HuggingFace 上线:ByteDance-Seed/mga-fineweb-edu

5. 什么时候该用 MGA

MGA 是为特定场景设计的,不是万能方案:

  • 推荐用:预训练语料快用完了、validation loss 已经在涨、想训到 7B-13B 甚至更大规模。
  • 可用但看场景:只有几万样本要做 SFT/微调(更适合 EDA/LLM 改写式 evol-instruct)。
  • 不太推荐:任务必须 100% 事实精度(医学、法律终稿);算力非常紧,没有 GPU 跑改写(可复用开源 MGACorpus)。

6. 相邻概念

MGA 是数据增强的一种,容易和几个概念搞混:

  • 预训练:MGA 产出的是预训练文本,不是微调数据。预训练讲更完整的数据墙和 scaling law。
  • 微调(Fine-tuning):监督微调用的是人工标注的对话数据,和 MGA 的预训练改写是两回事。
  • 数据集构建:从零构建训练数据的方法论框架,MGA 是其中一种具体策略。
  • 知识蒸馏:让小模型去学大模型的输出,MGA 是把同一段原文改写成多份预训练文本,跟蒸馏不同。
  • 监督微调(SFT):用标注数据做指令微调,MGA 产出的改写数据也可用于 SFT 阶段。
概念解析 · 人工智能ABC