高质量人类生成文本正在被大模型慢慢吃干，互联网上的新内容里越来越大比例本身就是 AI 生成的。于是训练下一代模型时，数据来源出现了一个尴尬循环：用模型生成数据训练新模型，再用新模型生成数据训练下一代。这个「自我喂养」路线能走多远，是当前数据战略的核心焦虑。

真实数据见顶之后还能撑多久？

各家实验室的内部估计是，公开网络上高质量人类文本的存量，大概再喂一两轮当前规模的训练就会见底。之后要么转向多模态数据、代码、科学文献，要么就得接受合成数据占比大幅上升。这不是假设，而是已经在发生的现实——2025 年后发布的旗舰模型，训练集里合成数据的比例普遍超过三成，部分任务专用模型几乎全靠合成。

合成数据为什么会导致分布坍缩？

每一代模型从自己的输出里采样训练下一代，相当于在原有分布上反复做核密度估计，多轮之后分布会越来越窄——模型变得越来越「平均」，长尾能力消失，多样性下降。这就是所谓的模型同质化。实验已经观察到，纯合成数据多代迭代之后，模型在创造性任务、罕见知识、反事实推理上的能力会系统性退化。要对抗坍缩，必须持续注入新的真实人类数据，或者引入强多样性约束。

合成数据的质量把关怎么做？

不是所有模型输出都适合当训练数据。低质量、带偏见、有事实错误的输出，喂进去只会训练出更差的模型。成熟的做法是用强模型做奖励筛选、用人工抽检做质量分层、用数据去重和风格聚类保证多样性。这一整套数据工程的成本，正在变得和训练本身一样高。论坛里 数据管线 的讨论，热点已经从「怎么生成」转向「怎么筛选」。

合成数据是必经之路，但不是免费午餐。它解决了短期的数据短缺，却埋下了长期的分布风险。真正可持续的路线，可能是合成数据与真实人类数据按某种比例混合，而不是完全自我循环。

真实人类数据还能从哪里挖？

公开互联网见顶之后，高质量人类数据的来源正在向几个方向转移：专业付费内容、科研文献、客服与企业内部文档、以及主动招募的人类标注。这些渠道每一个都比公开网页更贵、更难规模化，但它们是阻止模型同质化的关键。还有一条路是从多模态数据里挖——视频、音频、传感器数据——这些内容目前还没有被大模型充分消化，里面藏着大量真实世界的因果结构和常识。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论。