质量评估

数据是大模型的燃料。2026年，随着高质量互联网文本逐渐枯竭，数据治理已成为决定模型能力上限的关键瓶颈。GPT-5的训练使用了超过50T tokens的数据，其数据管线复杂度远超大多数工程系统。本文将系统梳理这条全链路。 1. 数据采集与来源分类 1.1 数据来源全景 来源类型 占比(典型) 质量等级 典型数据集 网页爬取 40-50% 中 Common Crawl, RefinedWeb 书籍 10-15% 高 Books3, BookCorpus 学术论文 5-10% 高 arXiv, S2ORC 代码 5-10% 高 The Stack, GitHub 对话数据 5-10% 中 Reddit, Stack Overflow 专有数据 10-20% 极高 企业内部数据 合成数据 5-15% 可变 LLM生成数据 1.2 合成数据的崛起 2026年最重要的趋势是合成数据成为预训练的重要组成。Phi-4和GPT-5均大量使用合成数据： # 合成数据生成的典型pipeline synthetic_pipeline = { "seed_topics": "从高质量知识图谱采样种子主题", "generation": "使用强模型生成多角度、多深度的内容", "filtering": "使用reward model过滤低质量生成", "deduplication": "MinHash + LSH去重", "verification": "使用验证器检查事实准确性" } 关键发现：合成数据的多样性比数量更重要。10万条覆盖10万个主题的合成数据，比100万条覆盖1万个主题的数据训练效果更好。 2. 数据清洗全链路 2.1 文本提取 从HTML中提取正文是最基础但也最容易出错的环节： def extract_text(html: str) -> str: # 1. 使用trafilatura提取正文 text = trafilatura.extract(html, include_links=False, include_tables=True) # 2. 去除模板化内容（导航栏、页脚等） boilerplate_ratio = compute_boilerplate_ratio(text, html) if boilerplate_ratio > 0.5: text = clean_boilerplate(text) # 3. 语言检测 lang = fasttext.predict(text) if lang not in TARGET_LANGS: return None # 4. 编码修复 text = ftfy.fix_text(text) return text 2.2 质量过滤 2026年的质量过滤已从简单规则发展为多级分类系统： ...

引言 “Garbage in, garbage out”——这句古老的计算机科学格言在大模型时代被赋予了全新的含义。GPT-5、Claude 4、Gemini 3等顶级模型的背后，不仅仅是算法和算力的胜利，更是数据工程的胜利。据估算，2026年主流大模型的训练数据量已达到50-100T tokens级别，如何保证如此规模数据的质量，成为决定模型能力的最关键因素之一。 数据治理全链路概览 大模型训练数据治理可分为五个核心阶段： 数据采集 → 数据清洗 → 数据去重 → 质量评估 → 数据配比 ↑ ↓ ←─────────── 持续监控与反馈 ──────────────← 数据采集：来源与策略 数据源分类 数据源 兄弟项目 数据量级 质量评级 典型代表 网页爬取 Common Crawl 50-100T ★★☆☆☆ RefinedWeb 书籍 Books3/Gutenberg 0.5-2T ★★★★☆ Books3 学术论文 arXiv/S2 0.5-1T ★★★★★ S2ORC 代码 GitHub 1-5T ★★★★☆ The Stack v2 对话数据 人工/合成 0.1-1T ★★★★★ ShareGPT 多模态 LAION 5-20T ★★★☆☆ DataComp 采集策略演进 2026年的数据采集策略已经从"越多越好"转向"质量优先"： class DataCollector: def __init__(self, quality_threshold=0.7): self.quality_threshold = quality_threshold self.sources = { 'web': WebCrawler(max_pages=10_000_000), 'academic': ArxivFetcher(categories=['cs.AI', 'cs.CL']), 'code': GitHubCrawler(min_stars=10, languages=['python', 'java', 'cpp']), 'books': BookFetcher(domains=['textbook', 'literature']) } def collect(self, target_tokens=1e12): collected = 0 for source_name, source in self.sources.items(): for document in source.stream(): quality = self.assess_quality(document) if quality >= self.quality_threshold: yield document collected += len(document['text']) // 4 if collected >= target_tokens: return 数据清洗：从粗筛到精筛 第一层：格式清洗 格式清洗去除HTML标签、乱码、非自然语言内容： ...