训练策略

数据配比：被低估的超参数 在预训练大模型时，数据配比（各类型数据的比例）可能是最被低估的决策之一。相同的模型架构、相同的训练量，不同的数据配比可以导致10个点以上的性能差异。本文系统梳理数据配比的科学方法。 数据类型的维度划分 按内容类型 DATA_CATEGORIES = { "web_text": { "description": "网页文本（新闻、博客、论坛等）", "examples": ["Common Crawl", "Reddit"], "role": "通用语言能力和世界知识", "typical_ratio": "40-60%" }, "code": { "description": "编程代码", "examples": ["GitHub", "Stack Overflow"], "role": "逻辑推理和结构化思维", "typical_ratio": "10-30%" }, "academic": { "description": "学术论文", "examples": ["arXiv", "PubMed"], "role": "专业知识和严谨表达", "typical_ratio": "5-15%" }, "books": { "description": "书籍", "examples": ["Project Gutenberg", "授权书籍"], "role": "长文本理解和叙事能力", "typical_ratio": "5-15%" }, "math": { "description": "数学相关文本", "examples": ["数学论文", "数学教材"], "role": "数学推理能力", "typical_ratio": "3-10%" }, "dialogue": { "description": "对话数据", "examples": ["论坛讨论", "问答对"], "role": "对话和指令跟随", "typical_ratio": "5-15%" }, "multilingual": { "description": "多语言数据", "examples": ["各语言网页"], "role": "多语言能力", "typical_ratio": "按目标调整" } } 按语言 LANGUAGE_DISTRIBUTION = { "英语为主": {"en": 0.90, "zh": 0.05, "other": 0.05}, "中文为主": {"zh": 0.80, "en": 0.15, "other": 0.05}, "中英双语": {"zh": 0.45, "en": 0.45, "other": 0.10}, "多语言": {"en": 0.40, "zh": 0.25, "other": 0.35}, } 配比对模型能力的影响 实验数据 基于Llama-3-8B架构的对照实验： experiments = [ { "name": "高Web比例", "config": {"web": 0.70, "code": 0.10, "academic": 0.05, "books": 0.10, "math": 0.05}, "results": {"MMLU": 62, "HumanEval": 55, "GSM8K": 45, "MT-Bench": 7.5} }, { "name": "高代码比例", "config": {"web": 0.45, "code": 0.30, "academic": 0.10, "books": 0.10, "math": 0.05}, "results": {"MMLU": 63, "HumanEval": 72, "GSM8K": 52, "MT-Bench": 7.3} }, { "name": "均衡配比", "config": {"web": 0.40, "code": 0.20, "academic": 0.15, "books": 0.10, "math": 0.10, "dialogue": 0.05}, "results": {"MMLU": 66, "HumanEval": 68, "GSM8K": 58, "MT-Bench": 7.8} }, { "name": "高学术比例", "config": {"web": 0.35, "code": 0.15, "academic": 0.25, "books": 0.15, "math": 0.10}, "results": {"MMLU": 68, "HumanEval": 60, "GSM8K": 55, "MT-Bench": 7.6} }, ] # 结论： # 1. 代码数据显著提升推理能力（HumanEval +17%） # 2. 数学数据提升数学推理（GSM8K +13%） # 3. 学术数据提升知识广度（MMLU +6%） # 4. 均衡配比综合表现最佳 代码数据的多重收益 代码数据不仅提升编程能力，还能提升通用推理： ...

什么是持续预训练 持续预训练（Continual Pre-Training, CPT）是在已有的预训练模型基础上，用领域数据继续训练，让模型"学会"领域知识。与 SFT 不同，CPT 的目标不是学习特定任务格式，而是注入知识本身。 预训练 (PT) 持续预训练 (CPT) 监督微调 (SFT) 通用语料 ──→ 基础模型 ──→ 领域模型 ──→ 任务模型 (万亿token) (百亿token) (万级样本) 1. 数据工程 数据来源与采集 class CPTDataCollector: def __init__(self, domain: str): self.domain = domain def collect(self) -> dict: sources = { "medical": self._collect_medical, "legal": self._collect_legal, "finance": self._collect_finance, "code": self._collect_code, } return sources.get(self.domain, self._collect_general)() def _collect_medical(self): return { "academic_papers": "PubMed Central 全文", "textbooks": "医学教材电子版", "clinical_guidelines": "各国临床指南", "drug_labels": "FDA/NMPA 药品说明书", "medical_encyclopedia": "医学百科全书", "estimated_tokens": "约 50B tokens" } def _collect_legal(self): return { "laws_regulations": "法律法规数据库", "court_cases": "裁判文书网", "legal_commentary": "法学期刊", "legal_textbooks": "法学教材", "contracts": "合同模板库", "estimated_tokens": "约 30B tokens" } 数据配比：最关键的超参数 数据配比决定了模型在领域知识和通用能力之间的平衡。 class DataMixer: def __init__(self): # 2026 年推荐配比（基于实验） self.ratios = { "domain_heavy": { # 重度领域适配 "domain": 0.7, "general": 0.2, "code": 0.05, "math": 0.05 }, "domain_balanced": { # 平衡适配（推荐） "domain": 0.5, "general": 0.35, "code": 0.1, "math": 0.05 }, "domain_light": { # 轻度适配 "domain": 0.3, "general": 0.55, "code": 0.1, "math": 0.05 } } def mix(self, domain_data: list, general_data: list, strategy: str = "domain_balanced"): ratio = self.ratios[strategy] total_tokens = 10_000_000_000 # 10B tokens domain_tokens = int(total_tokens * ratio["domain"]) general_tokens = int(total_tokens * ratio["general"]) mixed = [] mixed.extend(self._sample(domain_data, domain_tokens)) mixed.extend(self._sample(general_data, general_tokens)) # 打乱 random.shuffle(mixed) return mixed 配比实验结果 配比策略 领域任务 通用任务 代码 数学 灾难性遗忘 100% 领域 88% 42% 35% 38% 严重 ❌ 70% 领域 85% 68% 52% 55% 中等 ⚠️ 50% 领域 82% 75% 68% 65% 轻微 ✅ 30% 领域 76% 82% 72% 70% 无 ✅ 0% (baseline) 65% 85% 75% 72% 无 ✅ 结论：50% 领域数据是最佳平衡点。 ...