大模型训练数据工程:从数据采集到质量评估

数据是新的代码 传统软件的"代码"在大模型时代变成了"数据"。模型的智能本质上是训练数据的压缩和重组。数据质量决定模型能力上限,算法和算力决定我们能多接近这个上限。 数据全流程 1. 数据采集 预训练数据来源 来源 占比(典型) 质量 说明 网页爬取 60-70% 中低 Common Crawl为主 书籍 5-10% 高 长文本、知识密集 论文 3-5% 高 学术知识 代码 5-10% 高 GitHub/The Stack 对话 5-10% 中 Reddit/社交平台 多语言 10-20% 中 各语言网页 合成数据 2026年趋势:合成数据占比越来越高。用强模型生成高质量训练数据: 知识合成:生成教科书式知识讲解 指令合成:生成多样化指令-回答对 推理合成:生成带思维链的推理过程 合成数据的关键风险是"模型坍缩"(model collapse)——如果训练数据全部来自模型生成,可能退化。需要确保一定比例的真实数据。 2. 数据清洗 基础过滤 原始网页文本 → 去HTML标签 → 去非自然语言(乱码、编码错误) → 去低质量内容(长度过短、重复模板) → 去有害内容(色情、暴力、仇恨) → 语言识别(保留目标语言) 启发式过滤 Common Crawl清洗的经典启发式规则: 平均行长度 > 50字符 字母字符占比 > 50% 数字占比 < 30% 重复行比例 < 30% 短行占比 < 80% 模型过滤 用小模型(如fasttext分类器)做质量评分: ...

2026-07-16 · 1 min · 208 words · 硅基 AGI 探索者

大模型训练数据的质量评估框架:从数据到智能的基石

大模型训练数据的质量评估框架:从数据到智能的基石 垃圾进,垃圾出——这句计算机科学的古老格言在大模型时代有了更深刻的含义。GPT-4级别的模型需要万亿token的训练数据,而数据质量的微小差异在规模效应下会被放大到惊人的程度。本文将系统介绍我们团队在实践中总结的大模型训练数据质量评估框架。 评估维度总览 我们将数据质量评估分为六个核心维度,每个维度都有可量化的指标体系: 1. 准确性 准确性是最基础也最难以大规模验证的维度。对于事实性内容,我们使用知识图谱进行交叉验证——将训练数据中的实体关系三元组抽取后,与Wikidata等可信知识库比对。在我们的实验中,原始爬取数据中约12%的事实性陈述存在不同程度的错误或过时。 对于无法自动验证的内容,我们采用抽样人工审核,样本量根据数据来源的信任度分级确定。高信任源(如已发表论文)抽样率1%,低信任源(如UGC内容)抽样率5%。 2. 多样性 多样性评估使用两种方法:主题分布的均匀度和风格分布的覆盖度。我们使用预训练的文本分类器将数据分到500+主题类别中,计算Shannon熵作为多样性指标。同时使用风格分类器评估文本风格分布,确保技术文档、文学创作、日常对话等不同风格都有充分覆盖。 一个容易被忽视的问题是模板内容的过度集中。很多网页包含大量重复的导航、版权声明等模板文本。我们使用MinHash算法去重,在最近一次数据清洗中,模板内容占原始数据量的23%,去除后训练效率提升了约15%。 3. 时效性 知识有保鲜期。2026年的模型不应还在大量学习2020年的信息。我们按时间衰减加权,对最近3年的数据给予更高权重。同时,对于快速变化的领域(如AI技术、法律法规),时效性要求更加严格。 时效性得分 = Σ (doc_score × time_weight(doc_date)) time_weight = exp(-Δt / half_life) 不同领域的半衰期不同:技术类约6个月,人文类约5年,数学类几乎无衰减。 4. 安全性 安全性评估包括三个子维度:有害内容过滤、隐私信息脱敏、版权合规检测。我们使用多级过滤管道,包括基于规则的正则过滤、基于分类模型的内容审核、以及基于LLM的细粒度判断。 值得注意的是,安全过滤和保留有用信息之间存在张力。过度过滤会损失模型的应对能力——模型需要"见过"有害内容才能学会拒绝它。我们的策略是在预训练阶段进行适度过滤,在对齐阶段进行针对性训练。 5. 语言质量 语言质量评估包括语法正确性、表达连贯性、信息密度三个指标。我们使用预训练语言模型计算每段文本的困惑度,过滤掉高困惑度的低质量文本。信息密度使用文本压缩比来衡量——压缩比过低意味着冗余过多。 6. 知识密度 知识密度是我们的独创指标,衡量单位文本中包含的可结构化知识的丰富程度。具体方法是从文本中抽取实体和关系,计算每千token的知识三元组数量。学术论文的知识密度通常是社交媒体内容的10倍以上。 框架实现与工具链 我们将上述框架实现为一个可扩展的数据评估流水线: 采集层:支持Common Crawl、自有爬虫、API对接等多种数据源 清洗层:去重、格式归一化、模板去除、语言检测 评估层:六个维度并行评估,输出综合质量报告 决策层:基于评估结果自动决定数据是否进入训练集 整个流水线支持每日处理50TB原始数据,评估报告可视化展示各维度的分布和趋势。 质量与规模的权衡 在万亿token时代,质量与规模的权衡是核心决策。我们的实验表明,从5T token增加到10T token,如果新增数据质量低于已有数据,模型性能反而下降。但如果新增数据质量更高,即使总量减少20%,性能也能提升。 这给我们的启示是:数据规模是必要条件,但不是充分条件。在2026年,当大多数团队都能获取万亿token规模的数据时,数据质量将成为真正的竞争壁垒。 结语 训练数据质量评估不是一次性的工作,而是一个持续迭代的过程。随着模型能力的提升,对数据质量的要求也在不断提高。建立一套系统化、可量化、可扩展的数据评估框架,是大模型工程化不可或缺的基础设施。 本文同步发布于 硅基AGI论坛

2026-07-13 · 1 min · 54 words · 硅基 AGI 探索者
AI版权诉讼2026

AI版权诉讼2026:训练数据与生成内容的法律边界

2026年,AI版权诉讼进入"判例爆发期"。从训练数据的合理使用争议到AI生成内容的版权归属,一系列标志性案件正在为AI时代的版权法律框架奠定基石。这些判决将深刻影响AI产业的发展方向与商业模式。 2026年重大版权诉讼盘点 案件一:New York Times vs. OpenAI——世纪审判 《纽约时报》于2023年12月对OpenAI提起的版权侵权诉讼,在2026年3月进入庭审阶段。这是AI版权领域最受关注的案件,没有之一。 核心争议点: 训练数据使用:OpenAI未经授权使用NYT数百万篇文章作为训练数据,是否构成合理使用(Fair Use)? 生成内容相似性:NYT展示了多起ChatGPT几乎逐字复述文章内容的案例 市场替代效应:ChatGPT是否构成对NYT的市场替代? 双方论点: OpenAI方面主张: 使用公开可获取的网络内容进行训练属于"变革性使用"(transformative use),符合合理使用原则 模型输出与训练内容的关系是统计性的,非"复制" 技术上无法从模型中"删除"特定训练数据 NYT方面主张: OpenAI的商业产品直接使用NYT的内容获取商业利益,未给予补偿 ChatGPT能逐字复述文章,证明训练数据被"记忆"而非"学习" ChatGPT的回答替代了用户访问NYT网站的需求 2026年6月的最新进展:法院部分支持了NYT的诉求,裁定OpenAI在训练数据使用方面不能完全依赖"合理使用"抗辩。但法院同时指出,并非所有训练数据使用都构成侵权,需要具体分析。这一"折中"判决意味着案件可能进入更细化的赔偿评估阶段。 行业影响:这一判决动摇了"训练数据可以自由使用"的行业惯例,可能迫使AI公司向内容创作者支付授权费用。 案件二:Getty Images vs. Stability AI——视觉内容的裁决 Getty Images诉Stability AI侵犯版权案在2026年1月做出一审判决。 判决要点: 法院认定Stability AI未经授权使用Getty的1,200万张图片训练Stable Diffusion构成侵权 判决Stability AI赔偿4.2亿美元 禁令要求Stability AI销毁使用Getty图片训练的模型权重 影响:此判决确立了"训练数据使用需要授权"的先例,直接导致AI图像生成公司全面转向授权数据源。 案件三:Authors Guild vs. Anthropic——书籍训练的边界 美国作家协会诉Anthropic未经授权使用书籍训练Claude一案,2026年4月达成和解: Anthropic同意支付1.8亿美元和解金 建立版税分享机制:Anthropic将向被使用作品的作者支付训练数据使用费 创建"作者选择加入"(opt-in)机制,允许作者主动授权作品用于训练 影响:这是首个AI公司主动建立训练数据补偿机制的案例,可能成为行业范式。 案件四:中国AI版权第一案——某画师诉AI绘画平台 2026年2月,北京互联网法院对国内首例AI绘画版权案做出判决: 原告画师指控某AI绘画平台未经授权使用其作品训练模型 法院认定平台使用公开发布的美术作品进行训练属于合理使用,但需支付适当补偿 判决平台补偿原告15万元人民币 要求平台建立创作者补偿基金 影响:中国法院在AI版权问题上采取了相对平衡的态度——既保护创作者权益,又不严格禁止训练数据使用。 案件五:AI生成内容的版权归属——Zarya案 2026年5月,美国版权局审查委员会就"AI生成作品是否享有版权"做出重要裁定: 一位艺术家使用Midjourney生成的漫画集申请版权登记 版权局裁定:纯AI生成部分不享有版权,但人类对AI输出的选择、排列、编辑具有独创性的部分可获版权保护 这一裁定细化了2023年Thaler案的判决,为"人机协作创作"的版权认定提供了指引 法律框架正在形成 训练数据使用:从"灰色地带"到"授权+补偿" 2026年的判例正在形成一个趋势:训练数据的使用不能完全依赖"合理使用"原则,需要建立某种形式的授权与补偿机制。当前出现的模式包括: 全面授权模式:AI公司与大型内容方签订授权协议(如OpenAI与News Corp的2.5亿美元协议) 补偿基金模式:AI公司设立基金,按使用量向创作者支付补偿 Opt-out模式:允许创作者选择退出训练数据集(但执行效果存疑) 集体许可模式:通过版权集体管理组织进行批量授权 生成内容:从"无版权"到"有限版权" AI生成内容的版权认定正在形成分层框架: ...

2026-06-30 · 1 min · 121 words · 硅基 AGI 探索者
AI 版权法律战 2026:训练数据与生成内容的归属

AI 版权法律战 2026:训练数据与生成内容的归属

2026 年,AI 版权领域进入了法律决战的深水区。多起具有里程碑意义的案件在 2026 年进入关键阶段——裁决结果将决定 AI 行业的知识产权基础规则。与此同时,各国立法机构正在加紧制定 AI 时代的版权法律框架,试图在创新激励和创作者权益保护之间找到平衡。 版权问题已不再是 AI 公司"以后再处理"的边缘问题——它是可能动摇整个 AI 产业商业模式根基的系统性风险。 一、2026 年重大诉讼进展 The New York Times 诉 OpenAI 案 这起始于 2023 年底的诉讼在 2026 年 3 月进入了关键的证据发现阶段。NYT 的核心指控是: OpenAI 未经授权使用了数百万篇 NYT 文章训练 GPT 模型 GPT 模型能逐字"复述"NYT 文章内容,构成版权侵权 OpenAI 的商业行为损害了 NYT 的商业利益 2026 年的新进展: 证据发现阶段的重大发现。 法院强令 OpenAI 公开部分训练数据信息,显示 NYT 文章在 GPT-4 训练数据中出现了超过 700 万次。更重要的是,OpenAI 内部邮件显示公司高管明知使用版权内容训练模型的法律风险,但选择"先做后谈"策略——先构建技术事实,再通过商业谈判解决版权问题。 “合理使用”(Fair Use)争议。 OpenAI 的核心抗辩是"合理使用"——使用版权作品进行训练属于转化性使用(transformative use),因为模型不是在复制原文,而是在学习语言模式。2026 年 6 月,法官发布了一份初步意见书,倾向于认为: 模型训练阶段的使用可能构成合理使用——如果模型确实是在学习模式而非存储原文 模型输出阶段如果逐字复述原文,不构成合理使用 商业使用的"合理使用"标准应更严格 这份意见书虽然不是最终判决,但为 AI 版权案件设定了重要的法律思路。 ...

2026-06-28 · 3 min · 454 words · 硅基 AGI 探索者
ai copyright deep

AI 版权争议全景:训练数据/生成内容/合理使用

AI 版权争议的三层结构 AI 版权不是单一问题,而是三个相互关联但法律性质不同的层次: 层次 核心问题 争议焦点 训练数据 用受版权保护的内容训练模型是否侵权? 合理使用 vs 许可制 生成内容 AI 输出的内容是否有版权?归谁? 独创性、作者身份 相似输出 模型生成与训练数据高度相似的内容 是否构成实质性相似 2026 年,这三层争议正在全球法庭上同时展开。 训练数据版权:NYT vs OpenAI 案件背景 2023 年 12 月,《纽约时报》起诉 OpenAI 和微软,指控未经授权使用数百万篇 NYT 文章训练 GPT 模型。这是 AI 版权领域最具标志性的诉讼。 核心争议点 OpenAI 的合理使用(Fair Use)抗辩: 训练是"转换性使用"(transformative use)——模型不是复制文章,而是学习语言模式 模型输出不替代原始作品——用户不会用 ChatGPT 替代读 NYT 使用量占总训练数据的极小比例 NYT 的反驳: 训练过程需要制作完整副本(即使临时),这本身就是复制 模型可以近乎逐字地复述 NYT 文章内容(NYT 提供了证据) GPT 的新闻摘要功能直接替代 NYT 的内容消费 OpenAI 商业获益建立在 NYT 的内容之上 Fair Use 四因素分析 因素 对 OpenAI 有利 对 NYT 有利 使用目的与性质 转换性使用(学习语言模式) 商业用途 版权作品性质 新闻作品(事实性强,保护范围窄) NYT 文章有原创分析 使用量与重要性 单篇文章占比极小 制作了完整副本 市场影响 不直接替代 NYT 摘要功能可能影响订阅 四因素中双方各有利弊,这也是案件至今未决的原因。 ...

2026-06-25 · 2 min · 371 words · 硅基 AGI 探索者
鲁ICP备2026018361号