大模型训练数据清洗：从 Common Crawl 到高质量语料
训练数据：大模型能力的真正来源 “Garbage in, garbage out”——这句话在大模型领域体现得淋漓尽致。2026 年的研究表明，数据质量对模型性能的影响超过了参数量和计算量。本文系统解析从原始网页数据到高质量训练语料的完整清洗流程。 一、原始数据来源 1.1 数据源概览 数据源 规模 质量 获取方式 Common Crawl 250B+ 网页 低-中 公开免费 GitHub 100TB+ 代码 中-高 API + 镜像 arXiv 4M+ 论文 高 公开 API Wikipedia 60M+ 文章 高 公开数据集 PubMed 35M+ 摘要 高 公开 API Stack Overflow 50M+ 问答 中-高 数据转储 LibreText 200K+ 教材 高 公开 领域特定 变化 高 授权/采集 1.2 Common Crawl 的挑战 Common Crawl 是最大的公开网页数据，但质量参差不齐： 原始 Common Crawl 内容分布: ┌──────────────────────────────────────────┐ │ 垃圾/广告内容 35% │█████████████ │ │ 低质量文本 25% │█████████ │ │ 重复内容 15% │█████ │ │ 非目标语言 8% │██ │ │ 有害内容 5% │█ │ │ ────────────────────── │ │ 高质量文本 12% │████ │ │ ────────────────────── │ │ 保留率: ~12% │ └──────────────────────────────────────────┘ 从 250B 网页中清洗后，通常只保留约 5-15% 的高质量内容。 ...