训练数据抽取

一个让业界警觉的实验 大语言模型被认为是在「学习规律」，而不是死记硬背。但 2020 年前后，Carlini 等研究者用一系列实验证明：事实并非如此。他们设计了一套抽取攻击，通过特殊的提示（比如要求模型「继续重复这段文字」），成功让大模型逐字输出了训练集中的真实样本——包括网页里的个人电话号、邮箱、甚至被认为早已删掉的隐私片段。在对某个模型的测试中，他们抽取了数百段可被识别为逐字记忆的训练文本。这说明模型不是只学到了统计规律，它把一部分训练语料「背」了下来，并且能被诱导着说出来。 记忆是怎么发生的 Transformer 的参数量巨大，天然具备记忆能力。当某个样本在训练中出现多次，或者包含独特、低困惑度的片段（一串具体数字、一句独特的歌词），模型就容易把它当「事实」记牢。泛化是从相似样本里归纳规律，记忆则是把个别高频或独特的输入直接编码进权重。问题在于，记忆和泛化在同一个权重里混在一起，你无法只「关掉记忆」而不损害模型能力。 为什么越界的记忆危险 风险有两层。一是隐私泄露：如果训练语料里混入了个人信息、医疗记录、代码密钥，模型可能在被诱导时把它们吐出来，造成合规事故。二是版权与来源问题：逐字复述受版权保护的内容，等于模型在免费再生产别人的作品。研究还发现，出现频率越高的样本越容易被抽取——这恰好是那些被反复抓取、却未必有授权的内容。 防御为什么难 业界试过几种办法：训练前去重、对高频样本做数据清洗、在训练中加隐私保护目标。但这些手段都不彻底。去重能降低部分记忆，却可能删掉有用的知识；差分隐私训练能把记忆压到很低，代价是模型整体能力显著下降。更棘手的是，抽取攻击本身在不断进化——从早期的简单续写，到后来用贪婪搜索、用对抗样本定位「最容易被复述的片段」，攻击方总能找到记忆的薄弱点。这是一场没有干净终局的博弈。 对使用者的意义 这给所有部署大模型的团队提了个醒：不要把敏感数据喂进第三方 API 的 prompt，因为你无法保证它不会被模型在某种上下文里「联想」出来；也不要假设开源模型的权重里是干净的——它可能背了不该背的东西。合规审计时，训练数据来源、是否做过隐私清洗、是否评估过记忆风险，应该和模型能力一样被认真对待。记忆不是 bug 的全部，但它是悬在大模型头上的一把隐私之剑。 去论坛讨论 关于「数据泄露」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。