Posts

数据是大模型的燃料。2026年，随着高质量互联网文本逐渐枯竭，数据治理已成为决定模型能力上限的关键瓶颈。GPT-5的训练使用了超过50T tokens的数据，其数据管线复杂度远超大多数工程系统。本文将系统梳理这条全链路。 1. 数据采集与来源分类 1.1 数据来源全景 来源类型 占比(典型) 质量等级 典型数据集 网页爬取 40-50% 中 Common Crawl, RefinedWeb 书籍 10-15% 高 Books3, BookCorpus 学术论文 5-10% 高 arXiv, S2ORC 代码 5-10% 高 The Stack, GitHub 对话数据 5-10% 中 Reddit, Stack Overflow 专有数据 10-20% 极高 企业内部数据 合成数据 5-15% 可变 LLM生成数据 1.2 合成数据的崛起 2026年最重要的趋势是合成数据成为预训练的重要组成。Phi-4和GPT-5均大量使用合成数据： # 合成数据生成的典型pipeline synthetic_pipeline = { "seed_topics": "从高质量知识图谱采样种子主题", "generation": "使用强模型生成多角度、多深度的内容", "filtering": "使用reward model过滤低质量生成", "deduplication": "MinHash + LSH去重", "verification": "使用验证器检查事实准确性" } 关键发现：合成数据的多样性比数量更重要。10万条覆盖10万个主题的合成数据，比100万条覆盖1万个主题的数据训练效果更好。 2. 数据清洗全链路 2.1 文本提取 从HTML中提取正文是最基础但也最容易出错的环节： def extract_text(html: str) -> str: # 1. 使用trafilatura提取正文 text = trafilatura.extract(html, include_links=False, include_tables=True) # 2. 去除模板化内容（导航栏、页脚等） boilerplate_ratio = compute_boilerplate_ratio(text, html) if boilerplate_ratio > 0.5: text = clean_boilerplate(text) # 3. 语言检测 lang = fasttext.predict(text) if lang not in TARGET_LANGS: return None # 4. 编码修复 text = ftfy.fix_text(text) return text 2.2 质量过滤 2026年的质量过滤已从简单规则发展为多级分类系统： ...

引言 “Garbage in, garbage out”——这句古老的计算机科学格言在大模型时代被赋予了全新的含义。GPT-5、Claude 4、Gemini 3等顶级模型的背后，不仅仅是算法和算力的胜利，更是数据工程的胜利。据估算，2026年主流大模型的训练数据量已达到50-100T tokens级别，如何保证如此规模数据的质量，成为决定模型能力的最关键因素之一。 数据治理全链路概览 大模型训练数据治理可分为五个核心阶段： 数据采集 → 数据清洗 → 数据去重 → 质量评估 → 数据配比 ↑ ↓ ←─────────── 持续监控与反馈 ──────────────← 数据采集：来源与策略 数据源分类 数据源 兄弟项目 数据量级 质量评级 典型代表 网页爬取 Common Crawl 50-100T ★★☆☆☆ RefinedWeb 书籍 Books3/Gutenberg 0.5-2T ★★★★☆ Books3 学术论文 arXiv/S2 0.5-1T ★★★★★ S2ORC 代码 GitHub 1-5T ★★★★☆ The Stack v2 对话数据 人工/合成 0.1-1T ★★★★★ ShareGPT 多模态 LAION 5-20T ★★★☆☆ DataComp 采集策略演进 2026年的数据采集策略已经从"越多越好"转向"质量优先"： class DataCollector: def __init__(self, quality_threshold=0.7): self.quality_threshold = quality_threshold self.sources = { 'web': WebCrawler(max_pages=10_000_000), 'academic': ArxivFetcher(categories=['cs.AI', 'cs.CL']), 'code': GitHubCrawler(min_stars=10, languages=['python', 'java', 'cpp']), 'books': BookFetcher(domains=['textbook', 'literature']) } def collect(self, target_tokens=1e12): collected = 0 for source_name, source in self.sources.items(): for document in source.stream(): quality = self.assess_quality(document) if quality >= self.quality_threshold: yield document collected += len(document['text']) // 4 if collected >= target_tokens: return 数据清洗：从粗筛到精筛 第一层：格式清洗 格式清洗去除HTML标签、乱码、非自然语言内容： ...

引言 训练千亿乃至万亿参数的大模型是一项复杂的系统工程挑战。随着模型规模增大，训练过程中出现的Loss Spike、梯度爆炸、训练崩溃等问题会显著增加。据估计，约30%的大模型训练尝试会因稳定性问题失败或需要大量重启。2026年，通过多年的经验积累，业界已形成一套相对成熟的稳定性保障体系。 Loss Spike：原因与分类 Loss Spike的定义 Loss Spike指训练过程中Loss突然跃升超过正常范围10倍以上： $$ \Delta L = \frac{L_{\text{spike}} - \bar{L}}{\sigma_L} > 10 $$ 其中 $\bar{L}$ 和 $\sigma_L$ 分别是近期Loss的均值和标准差。 Spike类型分类 类型 特征 根因 频率 梯度爆炸型 Loss瞬间跃升后持续高位 梯度范数突破临界值 高 数据毒性型 Loss跃升后缓慢恢复 训练到有害/矛盾样本 中 优化器型 Loss周期性振荡 学习率+批大小配置不当 低 架构型 Loss持续上升无法收敛 归一化层设计缺陷 低 梯度爆炸：理论与检测 梯度爆炸的数学分析 对于深度神经网络，梯度爆炸与Jacobian矩阵的谱半径密切相关： $$ \frac{\partial \mathcal{L}}{\partial W^{(l)}} = \frac{\partial \mathcal{L}}{\partial x^{(L)}} \cdot \prod_{i=l}^{L-1} J^{(i)} $$ 其中 $J^{(i)} = \frac{\partial x^{(i+1)}}{\partial x^{(i)}}$ 是第 $i$ 层的Jacobian。 当 $|J^{(i)}|_2 > 1$ 且层数 $L-l$ 较大时，梯度以指数级增长。 ...

2022年，Wei等人发表的《Emergent Abilities of Large Language Models》引发了学术界对"涌现"现象的激烈讨论。到2026年，这场争论仍未平息：涌现是大规模系统的真实现象，还是特定评估指标造成的测量错觉？ 1. 涌现能力的定义与现象 1.1 什么是涌现能力 涌现能力被定义为：在较小模型中不存在，但在较大模型中突然出现的能力。其特征是：在模型规模增长过程中，能力曲线呈现突跳式增长而非平滑提升。 经典案例包括： 少样本算术：模型从随机水平跳升至接近完美 符号操作：如反转字符串、去除重复字符 多步推理：小学数学应用题准确率突跳 指令遵循：模型突然能理解并执行复杂指令 1.2 经典涌现曲线 准确率 | ╱───────── | ╱ | ╱ | ╱ | ╱ | ╱──────╱ | ╱ | ──────────╱ |__________________________________ 模型规模 小模型段(随机) 突跳段 平台段 2. 测量错觉假说 2.1 核心论点 2023年Schaeffer等人提出的关键质疑：涌现可能只是非线性度量的产物。 核心逻辑：如果底层能力随规模线性增长，但评估指标是非线性的（如exact match），那么在线性增长通过阈值时，就会表现为"突跳"。 数学表述：设模型能力 $c$ 随规模 $N$ 线性增长 $c = a \cdot \log N + b$，而评估指标为阶跃函数 $f(c) = \mathbb{1}[c > \tau]$，则： ...

引言 知识蒸馏（Knowledge Distillation）是将大模型（Teacher）的能力迁移到小模型（Student）的核心技术。2026年，随着GPT-5、Claude 4等超大规模模型的普及，如何将这些模型的强大能力压缩到可本地部署的7B模型中，成为了AI工程的关键挑战。本文将系统介绍蒸馏技术的最新进展。 知识蒸馏基础 经典蒸馏框架 经典知识蒸馏由Hinton等人于2015年提出，核心思想是让学生模型模仿教师模型的输出分布： $$ \mathcal{L}_{\text{KD}} = (1-\alpha) \cdot \text{CE}(y, p_s) + \alpha \cdot T^2 \cdot \text{KL}(p_t^T | p_s^T) $$ 其中： $p_s$ 和 $p_t$ 分别是学生和教师模型的输出概率 $T$ 是温度参数，软化概率分布 $\alpha$ 是平衡系数 $y$ 是真实标签 温度缩放 温度参数 $T$ 控制输出分布的平滑程度： $$ p_i^T = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)} $$ class DistillationLoss(nn.Module): def __init__(self, alpha=0.5, temperature=4.0): super().__init__() self.alpha = alpha self.T = temperature def forward(self, student_logits, teacher_logits, labels): # 软目标损失 soft_loss = F.kl_div( F.log_softmax(student_logits / self.T, dim=-1), F.softmax(teacher_logits / self.T, dim=-1), reduction='batchmean' ) * (self.T ** 2) # 硬目标损失 hard_loss = F.cross_entropy(student_logits, labels) return (1 - self.alpha) * hard_loss + self.alpha * soft_loss 白盒蒸馏：访问教师内部状态 白盒蒸馏可以访问教师模型的logits、隐藏状态和注意力权重，提供更丰富的监督信号。 ...

自回归生成是大模型推理的"阿喀琉斯之踵"：每生成一个token需要完整前向传播，无法有效利用GPU并行性。多Token预测（Multi-Token Prediction, MTP）通过在单次前向传播中预测多个未来token，突破这一瓶颈。到2026年，MTP已成为推理加速的标准技术之一。 1. 自回归生成的瓶颈 1.1 推理延迟分析 标准自回归生成的推理延迟： $$\text{Latency} = T \times (t_{prefill} + t_{decode})$$ 其中 $T$ 为生成长度，$t_{prefill}$ 为预填充延迟，$t_{decode}$ 为逐token生成延迟。由于KV Cache复用，$t_{decode}$ 主导整个生成过程。 以70B模型生成100个token为例： $t_{decode} \approx 30\text{ms/token}$（A100 80GB） 总延迟 $\approx 3\text{秒}$ 1.2 硬件利用率 自回归生成的硬件利用率极低： 阶段 FLOPs利用率 瓶颈 Prefill 60-80% 计算吞吐 Decode 5-15% 内存带宽 Decode阶段大部分时间花在从显存加载模型权重上，这是Memory-Bound而非Compute-Bound。 2. 多Token预测原理 2.1 核心思想 MTP的核心思想：在预测下一个token的同时，预测未来多个token。 训练目标从单步预测扩展到多步预测： $$\mathcal{L}{MTP} = \sum{k=1}^{K} \lambda_k \cdot \mathcal{L}(\hat{y}{t+k} | y{<t+k})$$ 其中 $K$ 为预测步数，$\lambda_k$ 为第 $k$ 步的权重。 2.2 架构设计 主流MTP架构有三种方案： 方案1：独立输出头 class IndependentHeadsMTP(nn.Module): def __init__(self, base_model, num_heads=4): super().__init__() self.base = base_model self.output_heads = nn.ModuleList([ nn.Linear(base_model.d_model, base_model.vocab_size) for _ in range(num_heads) ]) def forward(self, x): hidden = self.base(x) # [batch, seq_len, d_model] outputs = [] for head in self.output_heads: outputs.append(head(hidden)) # 共享hidden，独立head return outputs # [num_heads, batch, seq_len, vocab_size] 方案2：级联MTP（Meta的MTP方案） ...

引言 大模型的自回归生成是自然语言生成的黄金标准——每次生成一个token，串行依赖导致推理速度受限于内存带宽而非算力。2024-2026年间，多Token预测（Multi-Token Prediction, MTP）技术通过将每次生成多个token，实现了2-3倍的推理加速。这一技术已从学术论文走向产业实践，DeepSeek-V3、Gemini 2.0等模型均采用了类似技术。本文将深入解析MTP的原理、实现和最新进展。 自回归生成的瓶颈 标准自回归 标准自回归生成： $$ p(x) = \prod_{t=1}^T p(x_t | x_{<t}) $$ 每个token的生成需要完整的模型前向传播，受限于GPU内存带宽（memory-bound）： 生成速度 ≈ GPU内存带宽 / (参数量 × 每参数字节数) 以Llama-3-70B为例，参数量140GB（FP16），A100-80GB显存带宽2TB/s，理论生成速度约15 tokens/s。 瓶颈分析 瓶颈类型 原因 影响程度 内存带宽 每token需加载全部参数 高 串行依赖 无法并行生成多个token 高 KV Cache IO 长上下文时KV Cache占用大 中 解码算法 Beam Search等增加计算 中 多Token预测：核心思想 基本形式 MTP在单次前向传播中预测多个未来token： $$ p(x_{t+1}, x_{t+2}, \dots, x_{t+k} | x_{\le t}) $$ 关键优势：单次前向传播生成 $k$ 个token，理论上加速 $k$ 倍。 独立头方案（DeepSeek-V3） DeepSeek-V3采用多个独立的输出头，每个头预测不同偏移量的token： class MultiTokenPredictionHeads(nn.Module): def __init__(self, d_model, vocab_size, n_predict=3): super().__init__() self.n_predict = n_predict # 每个预测偏移量一个独立头 self.heads = nn.ModuleList([ nn.Linear(d_model, vocab_size, bias=False) for _ in range(n_predict) ]) def forward(self, hidden_states): """ hidden_states: [B, T, d_model] 返回: [B, T, n_predict, vocab_size] """ logits = [] for i in range(self.n_predict): # 第i个头预测x_{t+i+1} head_input = hidden_states[:, :-(i+1)] if i > 0 else hidden_states logits.append(self.heads[i](head_input)) return torch.stack(logits, dim=2) 训练目标 MTP的训练损失： ...

引言 2020年，OpenAI发表的经典论文"Scaling Laws for Neural Language Models"揭示了一个令人兴奋的规律：模型Loss随参数量、数据量和计算量的幂律下降。这一发现驱动了过去六年大模型规模的指数级增长。然而，到了2026年，随着GPT-5、Claude 4、Gemini 3等模型的发布，业界开始热议一个问题：我们是否已经触达了规模收益递减的拐点？本文将基于最新数据深入分析。 经典缩放定律回顾 Kaplan缩放定律 OpenAI的Kaplan等人发现，Loss与计算量 $C$ 的关系为： $$ L(C) = \left(\frac{C_c}{C}\right)^{\alpha_C} $$ 其中 $\alpha_C \approx 0.05$，$C_c$ 是常数。类似地： $$ L(N) = \left(\frac{N_c}{N}\right)^{\alpha_N}, \quad \alpha_N \approx 0.076 $$ $$ L(D) = \left(\frac{D_c}{D}\right)^{\alpha_D}, \quad \alpha_D \approx 0.095 $$ 关键结论：更大的模型更高效——在相同计算预算下，训练一个更大的模型比训练更多数据的小模型效果更好。 Chinchilla缩放定律 DeepMind的Chinchilla论文修正了这一结论。通过更系统的实验，Hoffmann等人发现： 最优计算分配：给定计算预算 $C$，最优参数量 $N^$ 和数据量 $D^$ 应大致按比例增长： $$ N^* \propto C^{0.5}, \quad D^* \propto C^{0.5} $$ 这意味着模型和数据应等比例扩展，而非Kaplan建议的优先扩大模型。 缩放定律 最优N:D比 关键启示 代表模型 Kaplan ~20:1 优先扩大模型 GPT-3 Chinchilla ~1:1 等比例扩大 Chinchilla Llama ~2:1 略多数据 Llama系列 2026实践 ~3:1 数据驱动 GPT-5, Claude 4 2026年的规模现状 主流模型规模对比 模型 发布时间 参数量 训练数据 计算量 MMLU GPT-3 2020 175B 300B tokens 3.1e23 FLOPs 43.9 Chinchilla 2022 70B 1.4T tokens 5.8e23 FLOPs 67.6 GPT-4 2023 ~1.8T 13T tokens 2.1e25 FLOPs 86.4 Claude 3 2024 ~400B 8T tokens 5.0e24 FLOPs 86.8 GPT-5 2025 ~3.5T 25T tokens 8.5e25 FLOPs 89.5 Claude 4 2026 ~600B 18T tokens 1.2e25 FLOPs 90.1 收益递减的证据 1. 基准测试分数趋近饱和 ...

从GPT-3的2K上下文到Gemini 2.5的10M上下文，长上下文技术是大模型领域进步最快的方向之一。2026年，百万级token的上下文窗口已成为旗舰模型的标配。本文将系统梳理这一技术演进的核心脉络。 1. 位置编码的演进 1.1 绝对位置编码的局限 原始Transformer使用可学习的绝对位置编码，最大长度在训练时固定。外推到更长序列时效果急剧下降。 1.2 RoPE：旋转位置编码 RoPE（Rotary Position Embedding）通过在复数域旋转Query和Key来编码相对位置： $$\text{RoPE}(x, m) = x e^{im\theta}$$ 其中 $m$ 为位置索引，$\theta_i = 10000^{-2i/d}$。两个位置 $m, n$ 的注意力分数仅依赖于相对位置 $m - n$： $$\text{Re}[\langle \text{RoPE}(q, m), \text{RoPE}(k, n) \rangle] = \text{Re}[\langle q, k \rangle \cdot e^{i(m-n)\theta}]$$ def apply_rotary_pos_emb(q, k, cos, sin): # q, k: [batch, heads, seq_len, d_k] # cos, sin: [seq_len, d_k] q_rot = (q * cos) + (rotate_half(q) * sin) k_rot = (k * cos) + (rotate_half(k) * sin) return q_rot, k_rot def rotate_half(x): x1 = x[..., :x.shape[-1] // 2] x2 = x[..., x.shape[-1] // 2:] return torch.cat((-x2, x1), dim=-1) 1.3 RoPE外推方案 训练时上下文长度为 $L_{train}$，推理时需要扩展到 $L_{test}$。主要外推方案： 方案 原理 效果 计算开销 Position Interpolation (PI) 将位置索引缩放到训练范围 良好 无 NTK-aware 调整RoPE基频 $\theta$ 优秀 无 YaRN 分频段不同插值策略 最佳 极低 LongRoPE 进化搜索最优插值参数 2026年SOTA 一次性搜索 YaRN的核心思想是对不同频率分量采用不同策略： ...

引言 早期Transformer模型受限于 $O(n^2)$ 的注意力复杂度，上下文长度被限制在512或2048 tokens。到2026年，主流模型已普遍支持128K-1M tokens的上下文窗口。这一进步并非单一技术的产物，而是位置编码、注意力机制、架构设计等多个方向协同演进的结果。本文将系统梳理这一技术演进脉络。 位置编码：长上下文的基石 Absolute Position Embedding 原始Transformer使用learned absolute position embedding： $$ h_i = x_i + \text{PE}[i], \quad \text{PE}[i] \in \mathbb{R}^{d_{\text{model}}} $$ 问题：无法外推到训练长度之外的位置，泛化性差。 Sinusoidal Position Encoding $$ \text{PE}(pos, 2i) = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right) $$ $$ \text{PE}(pos, 2i+1) = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right) $$ Sinusoidal编码具有相对位置信息，但外推能力仍然有限。 RoPE：旋转位置编码 RoPE（Rotary Position Embedding）是当前主流的位置编码方案，通过旋转矩阵实现相对位置编码： $$ f_q(x_m, m) = R_\Theta^m q(x_m), \quad f_k(x_n, n) = R_\Theta^n k(x_n) $$ 其中： $$ R_\Theta^m = \begin{pmatrix} \cos m\theta_1 & -\sin m\theta_1 & 0 & 0 \ \sin m\theta_1 & \cos m\theta_1 & 0 & 0 \ 0 & 0 & \cos m\theta_2 & -\sin m\theta_2 \ 0 & 0 & \sin m\theta_2 & \cos m\theta_2 \ \vdots & \vdots & \vdots & \vdots \end{pmatrix} $$ ...