大模型

Scaling Law：规则还是错觉？ 2020年OpenAI发表Scaling Law论文，揭示了一个惊人的规律：模型能力随参数量、数据量、计算量的幂律增长而可预测地提升。这个发现驱动了过去六年大模型的爆发式发展。但2026年，Scaling Law正在减速——这意味着什么？ 经典Scaling Law 三个维度 L(N, D, C) = 常数 × (N/N₀)^(-α_N) × (D/D₀)^(-α_D) × ... N: 模型参数量 D: 训练数据量（tokens） C: 计算量（FLOPs） 经验值： α_N ≈ 0.076（参数缩放指数） α_D ≈ 0.095（数据缩放指数） α_C ≈ 0.057（计算缩放指数） 关键洞察 可预测性：给定计算预算，可以预测模型loss 最优分配：给定计算量C，存在最优的N和D分配 没有饱和：在测试范围内，能力随规模持续提升 Chinchilla修正 DeepMind的Chinchilla论文修正了原始Scaling Law： 之前模型训练数据不足（过度参数化） 最优训练：每个参数约20个token 70B模型应该用1.4万亿token训练 减速信号 信号1：边际收益递减 模型规模增长10倍 → loss下降约0.05 模型规模再增长10倍 → loss下降约0.04 模型规模再增长10倍 → loss下降约0.03 （幂律仍在，但绝对增量越来越小） 信号2：数据墙 高质量训练数据正在枯竭： 互联网高质量文本约10万亿token 2024年训练的模型已用5-10万亿 2026年接近数据上限 低质量数据加入反而可能降低性能 信号3：成本爆炸 训练万亿参数模型： 计算量约10^25 FLOPs 需要约10万张H100运行数月 单次训练成本超过1亿美元 投资回报率递减 信号4：benchmark天花板 在MMLU、HumanEval等基准上： ...

推理瓶颈在哪里？ 大模型推理的核心瓶颈是自回归生成的串行性：每生成一个token都需要将之前所有token的KV对参与注意力计算。随着序列变长，计算量和显存占用呈线性甚至二次增长。 推理优化的目标可以归纳为三个维度： 降低延迟（首token延迟TTFT + 每token延迟TPOT） 提升吞吐（每秒生成token总数） 减少显存（KV Cache占用） KV Cache：标准但不够 KV Cache是现代推理引擎的标配。在生成阶段，避免重复计算历史token的Key和Value向量，而是缓存复用。但KV Cache的显存占用非常大：以Llama-70B为例，单条请求的KV Cache在4K序列长度下约占2GB显存。 优化方向： PagedAttention（vLLM）：将KV Cache分为固定大小的block，通过页表管理，显著减少碎片 量化KV Cache：将FP16的KV对压缩为INT8甚至INT4，显存减半甚至1/4 稀疏KV Cache：基于注意力分数剪枝，丢弃不重要的KV对 连续批处理（Continuous Batching） 传统static batching需要等待批次内所有请求完成才能释放资源，短请求被长请求拖累。连续批处理（也叫iteration-level batching）在每个forward pass级别动态加入新请求、移除已完成请求： 时间步1: [req_A(token5), req_B(token3), req_C(token1)] 时间步2: [req_A(token6), req_B(token4), req_D(token1)] # C完成，D加入 vLLM和TGI都实现了这一机制，实测吞吐量可提升3-5倍。 投机解码（Speculative Decoding） 投机解码利用一个小模型（draft model）快速生成候选token序列，再由大模型一次性验证。如果小模型的猜测正确率足够高，就能以接近小模型的速度输出大模型质量的token： 小模型生成N个候选token（并行，很快） 大模型对这N个token做一次forward（并行验证） 接受正确的前缀，拒绝处重新采样 Medusa在此基础上扩展，在单次forward中同时预测多个位置的token（多头预测），进一步提升加速比。 量化推理 训练时用FP16/BF16，推理时降低精度： 精度 方法 性能损失 INT8 W8A8 / SmoothQuant <1% INT4 W4A16 / GPTQ / AWQ 1-3% 2-bit BitNet / 1.58bit 训练时需特殊设计 AWQ和GPTQ是目前最流行的4bit权重量化方案，配合Marlin内核可达极高吞吐。需注意，4bit量化在70B以上模型上表现好，但7B级别可能有明显精度下降。 ...

大模型推理的Speculative Decoding原理详解 大模型推理的最大瓶颈是自回归生成——每个token的生成都依赖前面所有token的KV Cache，无法并行。Speculative Decoding（投机解码）是2024-2026年最重要的推理加速技术之一，在质量无损的前提下将推理速度提升2-4倍。 核心思想 自回归生成的瓶颈 标准自回归生成是串行的：生成第N个token需要先完成第1到N-1个token的生成。每一步都涉及一个完整的forward pass，计算量约O(n×d²)，其中n是序列长度，d是模型维度。 这种串行性导致GPU利用率低——大部分时间在做矩阵乘法但不能并行化。一个大模型生成500个token需要500次forward pass。 Speculative Decoding的洞察 Speculative Decoding的核心洞察是：大模型的前向计算可以批量处理多个token。 具体方法： 用一个小模型（Draft Model）快速生成N个候选token 用大模型（Target Model）一次性验证这N个token 从验证后的分布中采样，保证输出分布不变 关键在于第2步——大模型一次forward pass可以同时计算N个位置的概率分布，因为这个计算不依赖这N个token本身（只依赖前面的token，而这些已经由小模型"占位"了）。 数学原理 修改的拒绝采样 Speculative Decoding的数学基础是一种修改的拒绝采样，确保输出分布和直接使用大模型完全一致。 设大模型在位置t的条件分布为p(x|context)，小模型为q(x|context)。算法步骤： 小模型生成token x₁, x₂, …, xₖ 大模型并行计算p(x_i|context)对所有i 对每个位置i： 如果p(x_i) ≥ q(x_i)：接受x_i（以概率min(1, p(x_i)/q(x_i))） 如果p(x_i) < q(x_i)：以概率(p(x_i)/q(x_i))接受，否则拒绝并从(p-q)分布中重新采样 一旦拒绝某个token，从该位置开始重新用小模型生成 关键特性：不管小模型质量如何，最终输出分布恒等于大模型的分布。如果小模型生成的token和大模型一致，加速效果好；如果不一致，大模型会拒绝并修正，不损失质量。 加速效果分析 加速比取决于小模型的"命中率"——即生成的token被大模型接受的比例。 设小模型命中率r，每次生成k个候选token。期望接受的token数 = 1 + r + r² + … ≈ 1/(1-r)。 如果r=0.5（命中率50%），加速比约2x 如果r=0.7（命中率70%），加速比约3.3x 如果r=0.8（命中率80%），加速比约5x 命中率主要取决于小模型和大模型的相似度——小模型越接近大模型的分布，命中率越高。 工程实现 Draft Model选择 选择合适的小模型是Speculative Decoding成功的关键： 同系列小模型：最常用的方案。如果Target Model是Llama-70B，Draft Model用Llama-7B。同系列模型共享tokenizer和架构，分布相似度高。 自蒸馏模型：将大模型蒸馏到小模型作为Draft Model。蒸馏使小模型分布更接近大模型，命中率更高。 ...

大模型微调中的灾难性遗忘问题 你花两周微调了一个医疗领域的LLM，效果很好——医疗问答准确率从60%提升到90%。但用户反馈说模型的代码能力下降了，数学推理也退化了。这就是灾难性遗忘——在学习新知识的同时遗忘了旧知识。 灾难性遗忘的成因 神经网络的"跷跷板效应" 灾难性遗忘的根源在于神经网络的参数共享。同一个参数既参与医疗问答，也参与代码生成。当你用医疗数据微调时，参数向医疗任务最优的方向移动，必然偏离代码任务的最优点。 这和人类学习不同——人类学医不会导致忘记编程。因为人脑的功能区域相对独立，学习新知识不会覆盖旧知识的神经回路。而神经网络中，所有知识共享同一组参数。 影响遗忘程度的因素 微调数据量：数据越多，参数移动幅度越大，遗忘越严重。用10万条数据微调比1万条遗忘更严重。 学习率：学习率越大，参数更新越激进，遗忘越快。 数据分布偏移：微调数据和预训练数据分布差异越大，遗忘越严重。从通用文本微调到高度专业的医疗数据，分布偏移大，遗忘严重。 参数规模：小模型更容易遗忘（参数少，冲突大），大模型相对抗遗忘（参数冗余度高，不同知识可以"住"在不同参数子空间中）。 遗忘的度量 通用能力保留率 在微调前后，用一套通用基准测试（MMLU、HumanEval、GSM8K等）评估模型，对比分数变化。通用能力保留率 = 微调后分数 / 微调前分数。 特定能力遗忘率 针对特定能力设计测试集——代码生成、数学推理、创意写作等——分别度量微调前后的表现。通常关注的是退化超过5%的能力维度。 表示漂移度量 更底层的方法是度量模型内部表示的变化。用微调前后的模型对同一组文本生成嵌入向量，计算嵌入分布的偏移。偏移越大，遗忘风险越高。 缓解策略 策略一：低秩适应（LoRA） LoRA是缓解遗忘最实用的方法。它冻结原始参数，只训练低秩增量矩阵。原始知识完整保留在冻结的参数中，新增知识写入低秩矩阵。 LoRA天然抗遗忘——原始参数没变，通用能力不会退化。但代价是新增能力的深度有限——低秩矩阵的表达能力受限，很难学到需要大幅参数调整的能力。 实践中，LoRA的遗忘率通常<5%，远低于全参数微调的15-30%。对于大多数领域微调场景，这个trade-off是值得的。 策略二：经验回放（Experience Replay） 在微调数据中混入一定比例的通用数据。比如90%医疗数据+10%通用数据。通用数据起到"锚定"作用，防止参数过度偏移。 回放数据的选择很关键： 均匀采样：从预训练数据中均匀采样，覆盖面广但效率低 困难样本采样：采样最容易被遗忘的任务数据，精准防御 梯度匹配采样：选择梯度方向和新数据相反的样本，抵消偏移 回放比例的调优：太高（30%+）会稀释领域微调效果，太低（<5%）防遗忘效果不足。实践中10-15%是常用值。 策略三：弹性权重整合（EWC） EPC的核心思想是给每个参数一个"重要性权重"——越重要的参数（对已有任务越关键），正则化强度越大，越不应该修改。 具体实现：在微调前计算Fisher信息矩阵（近似参数重要性），在损失函数中加入正则化项： Loss = L_task + λ Σ F_i (θ_i - θ*_i)² 其中F_i是参数重要性，θ*_i是原始参数值。重要参数（F_i大）的偏移被惩罚，不重要参数可以自由更新。 EWC的效果取决于Fisher信息矩阵的估计质量。在实践中，Fisher估计的计算成本不低，且估计精度有限。这使得EWC在理论上有吸引力，但实践中不如LoRA和回放方法使用广泛。 策略四：参数隔离 最极端的防遗忘策略——给新任务分配专用参数，完全不影响旧任务参数。Adapter和Prefix Tuning属于这个方向。 Adapter在Transformer层之间插入小的适配模块，冻结原始参数。优点是零遗忘，缺点是增加了推理计算量和参数量。 Prefix Tuning在每个注意力层前加入可学习的前缀token，冻结模型参数。比Adapter更轻量，但表达能力也受限。 策略五：渐进式解冻 不冻结所有参数，而是从顶层开始逐步解冻。先只微调最后几层，评估遗忘程度；如果可接受，继续解冻更深层。这种渐进式方法在遗忘和能力提升之间找到更精细的平衡。 多任务持续学习 当你需要让模型同时学习多个领域时——医疗、法律、金融——遗忘问题更复杂。多任务交替训练会导致"跷跷板效应"——医疗能力上升则法律能力下降，反之亦然。 多任务混合训练 将多个领域的数据混合训练，而非交替训练。这能避免"学新忘旧"的问题。但要求各领域数据量均衡，否则大领域会"淹没"小领域。 模块化微调 为每个领域训练独立的LoRA模块，推理时根据任务选择加载。这是2026年的主流方案——一个基座模型+多个LoRA适配器，按需加载。 优势：零跨领域干扰、模块可独立更新、按需加载节省显存。 劣势：推理时需要路由策略判断使用哪个模块、管理多个模块的复杂性增加。 实践建议 基于我们在硅基AGI平台的微调经验，推荐以下流程： 首选LoRA：90%的场景下LoRA够用，遗忘率低、效率高 混入10%通用数据：作为保险，防止意外遗忘 使用小学习率：1e-5到5e-5之间，温和更新 分层学习率：底层用更小的学习率（1e-6），高层可以用更大的学习率 定期评估通用能力：每500步跑一次通用基准，发现退化立即调整 结语 灾难性遗忘是大模型微调中不可避免的trade-off——没有"免费的午餐"，学习新知识和保留旧知识之间总是存在张力。关键不是"消除"遗忘，而是将遗忘控制在可接受范围内。LoRA+回放+定期评估的组合方案，在2026年仍然是性价比最高的实践路径。随着模型规模增大和训练方法改进，遗忘问题会逐步缓解，但永远不会消失——它是深度学习架构的基本特性。 ...

为什么需要张量并行？ 当模型参数量超过单GPU显存容量时，模型并行成为必需。张量并行（Tensor Parallelism, TP）是最常用的模型并行方式——将单个层的权重矩阵切分到多个GPU上，每个GPU计算一部分结果，然后通过通信合并。 NVIDIA的Megatron-LM提出了张量并行的标准方案，成为2026年大模型训练的基础设施。 张量并行的核心原理 线性层的切分 一个标准线性层 Y = XW，其中 W ∈ ℝ^{d×h}。将W切分为两个子矩阵有两种方式： 列切分（Column Parallel） 将W按列切分：W = [W₁, W₂]，每个GPU持有 W_i ∈ ℝ^{d×h/N} GPU 1: Y₁ = XW₁ ∈ ℝ^{n×h/N} GPU 2: Y₂ = XW₂ ∈ ℝ^{n×h/N} Y = [Y₁, Y₂] ∈ ℝ^{n×h} 列切分后，每个GPU独立计算Y的一部分列，最终通过All-Gather合并。但更聪明的方式是——不需要显式合并，因为后续操作可以利用分块结构。 行切分（Row Parallel） 将W按行切分：W = [W₁; W₂]，每个GPU持有 W_i ∈ ℝ^{d/N×h} GPU 1: Y₁ = X₁W₁ (X₁是X的前d/N列) GPU 2: Y₂ = X₂W₂ (X₂是X的后d/N列) Y = Y₁ + Y₂ (All-Reduce) 行切分后需要All-Reduce求和。 ...

长尾问题：AI知识的冰山模型 AI模型的知识像一座冰山——水面之上是常见知识（高频、大量训练数据覆盖），水面之下是长尾知识（低频、训练数据稀少）。 GPT-6能回答关于Python编程、美国历史、量子力学的常见问题——这是冰山之上。但当被问到"15世纪蒙古萨满教的具体仪式"或"某种罕见遗传病的最新治疗方案"时，AI的表现急剧下降——这是冰山之下。 长尾知识的重要性 为什么长尾很重要 专业性：专家工作中最需要的就是长尾知识 创新性：突破性创新往往来自长尾领域的交叉 公平性：罕见疾病患者、少数族裔语言、小众领域——AI在这些领域的无能会造成实际伤害 可靠性：如果AI在长尾问题上"幻觉"，用户可能无法识别（因为用户也不懂） 长尾知识的类型 类型1：罕见但存在 罕见病（发病率<1/10000的疾病） 小众语言（使用人数<10万的语言） 冷门历史事件 类型2：新产生 2026年最新发表的论文 刚刚发生的新闻 新发布的软件版本 类型3：专业深度 某个特定法律条文的具体适用 某种材料的特定合成条件 某个算法在特定硬件上的优化参数 类型4：隐性知识 无法用文字充分描述的技能 行业内部的"潜规则" 需要实践经验才能理解的知识 当前AI在长尾上的表现 量化评估 知识频率 AI准确率 人类专家准确率 前1%（常见） 94.2% 92.1% 前1-5% 87.3% 88.5% 前5-20% 72.1% 79.3% 后20%（长尾） 41.6% 65.2% 在长尾知识上，AI的准确率急剧下降，而人类专家虽然也有下降，但幅度小得多。 典型问题 1. 幻觉 在长尾问题上，AI倾向于"编造"看似合理但实际错误的答案。因为训练数据稀少，模型无法区分"知道"和"不知道"。 2. 过度泛化 AI将常见知识错误地泛化到罕见场景： 罕见病的症状被误诊为常见病 小众语言的语法被按主流语言处理 冷门法律被按主流法律解释 3. 置信度校准失败 AI在长尾问题上的置信度通常过高——它"不知道自己不知道"。这比"不知道"更危险，因为用户可能信任高置信度的错误答案。 解决方案 1. 检索增强生成（RAG） 最直接的方案——在生成答案前检索外部知识库： 用户问题 → 判断是否需要外部知识 → 检索相关文档 → 结合检索结果生成答案 2026年RAG的改进： 多跳检索：支持多步骤的信息检索 混合检索：向量检索+关键词检索+语义重排序 自适应检索：根据问题难度调整检索深度 实时检索：连接实时数据源获取最新信息 局限：RAG的效果取决于外部知识库的覆盖度和质量。对于非常冷门的知识，可能根本没有可检索的文档。 ...

AI模型价格战：2026的暴跌曲线 如果2023是"AI能力大爆发"、2024是"AI应用探索年"，那么2026就是"AI价格战元年"。从年初到6月，主流AI模型的API价格平均下降了87%，部分模型降价幅度甚至超过95%。 这场价格战正在从根本上改变AI的经济学——当AI调用成本从"需要精打细算"变成"可以随意使用"时，AI应用的商业模式将被重新定义。 价格演变时间线 2026年1月：DeepSeek打响第一枪 DeepSeek V3 API定价： 输入：¥0.14/百万token（约$0.02） 输出：¥0.28/百万token（约$0.04） 对比当时GPT-4 Turbo： 输入：$10/百万token 输出：$30/百万token DeepSeek的价格仅为GPT-4 Turbo的1/250。这在全球AI圈引发了巨大震动。 2026年2-3月：中国厂商跟进 中国大模型公司集体降价： 厂商 模型 降价幅度 阿里云 Qwen-Max -85% 百度 ERNIE 4.0 -80% 字节 Doubao-pro-32k -90% 智谱 GLM-4 -75% 零一万物 Yi-Large -88% 2026年4月：Google反击 Google发布Gemini 2.5 Flash（成本优化版）： 输入：$0.075/百万token 输出：$0.30/百万token 同时宣布Gemini 1.5 Pro降价50%。 2026年5-6月：OpenAI被迫应战 OpenAI在巨大价格压力下，发布了GPT-4o Mini： 输入：$0.15/百万token 输出：$0.45/百万token 同时GPT-4 Turbo降价40%。 价格对比（2026年6月） 模型 输入价格($/M tok) 输出价格($/M tok) vs 2025年初 GPT-4o $2.50 $7.50 -40% GPT-4o Mini $0.15 $0.45 新发布 Claude 3.5 Sonnet $3.00 $15.00 -30% Gemini 2.5 Pro $1.25 $5.00 -60% Gemini 2.5 Flash $0.075 $0.30 新发布 DeepSeek V3 $0.14 $0.28 -90% Qwen-Max $0.40 $1.20 -85% Llama 3 405B (API) $1.00 $3.00 -70% 2025年初vs 2026年中平均降价：87% ...

开源vs闭源：2026年的差距分析 2023-2025年，开源大模型与闭源模型的性能差距持续缩小。Llama 3、Qwen 2.5、Mistral Large 2等开源模型在某些基准上已经接近GPT-4级别。 但2026年，这个趋势似乎出现了变化。GPT-6、Claude 5、Gemini 3 Ultra等闭源模型在性能上重新拉开了与开源模型的差距。 性能差距演变 2024 vs 2026对比 基准测试 最佳开源(2024) 最佳闭源(2024) 差距 最佳开源(2026) 最佳闭源(2026) 差距 MMLU Llama 3 405B (84.4%) GPT-4 Turbo (90.2%) 5.8% Llama 4 Behemoth (89.3%) GPT-6 (93.4%) 4.1% GSM8K Llama 3 405B (85.2%) GPT-4 Turbo (95.2%) 10.0% Llama 4 Behemoth (93.1%) GPT-6 (97.3%) 4.2% MATH Qwen 2.5 72B (68.3%) GPT-4 Turbo (73.4%) 5.1% Qwen 3 72B (76.4%) GPT-6 (82.1%) 5.7% HumanEval CodeLlama 70B (67.8%) GPT-4 Turbo (86.4%) 18.6% DeepSeek V4 (89.7%) GPT-6 (91.2%) 1.5% MMMU Llama 3-V 405B (68.2%) GPT-4V (75.8%) 7.6% Llama 4 Behemoth-V (74.3%) Gemini 3 Ultra (78.3%) 4.0% 关键发现： ...

Mistral Large 3：欧洲AI的旗帜 2026年4月，法国AI创业公司Mistral AI发布Mistral Large 3。作为欧洲最有影响力的AI公司，Mistral的每一步都备受关注。Large 3不仅是Mistral的旗舰模型，更被视为"欧洲AI独立性"的象征。 模型规格 规格 Mistral Large 3 Mistral Large 2 GPT-6 (对比) 参数量 123B 76B ~1.8T 架构 Dense Transformer Dense Transformer MoE 上下文 256K 128K 2M 词表大小 128K 128K 256K 多语言 欧洲语言优化 英法为主 全球语言 开源 是 (Apache 2.0) 是 否 商业模式 API + 私有部署 API API Large 3坚持Dense架构而非MoE，这是Mistral的战略选择——他们认为Dense模型在推理质量和稳定性上优于MoE，尽管计算效率较低。 性能评测 多语言基准 Mistral Large 3的最大优势是多语言能力，特别是欧洲语言： 语言 MMLU (该语言) GPT-6 差距 英语 89.7% 93.4% -3.7% 法语 87.2% 82.1% +5.1% 德语 85.6% 81.3% +4.3% 西班牙语 86.8% 83.4% +3.4% 意大利语 85.3% 81.7% +3.6% 葡萄牙语 84.1% 80.8% +3.3% 波兰语 79.4% 74.2% +5.2% 荷兰语 82.6% 78.9% +3.7% 在非英语语言上，Mistral Large 3普遍优于GPT-6约3-5个百分点。这得益于： ...

DeepSeek V4：成本效率的极致追求 2026年5月，中国AI创业公司DeepSeek发布V4大模型。最令人震撼的不是性能指标——虽然在大多数基准上接近GPT-6——而是训练成本：仅需约800万美元，是GPT-6训练成本的约1/10。 这是DeepSeek连续第二次在大模型成本效率上实现突破。V3在2024年底以约600万美元的训练成本达到当时GPT-4级别的性能；V4进一步将成本效率提升到新的高度。 性能表现 基准测试对比 基准测试 DeepSeek V4 GPT-6 Claude 5 差距 MMLU 91.2% 93.4% 91.8% -2.2% GSM8K 96.1% 97.3% 94.6% -1.2% MATH 80.3% 82.1% 76.8% -1.8% HumanEval 89.7% 91.2% 85.7% -1.5% BBH 89.1% 90.8% 87.6% -1.7% C-Eval (中文) 90.8% 87.5% 85.3% +3.3% MMMU (多模态) 74.8% 72.1% 68.4% +2.7% DeepSeek V4在英文基准上略逊于GPT-6约1-2个百分点，但在中文基准上反超。考虑到训练成本仅为GPT-6的1/10，这个性能水平堪称卓越。 推理效率 DeepSeek V4采用了MoE架构，总参数680B，激活参数仅52B： 指标 DeepSeek V4 GPT-6 优势 推理FLOPS 52B等效 约220B 4.2x效率 显存占用 104GB (FP16) 约440GB 4.2x节省 单卡吞吐量 2,400 tok/s (H100) 约800 tok/s 3x提升 成本/token $0.0008 $0.003 3.75x便宜 这种极致的成本效率，使得DeepSeek V4 API的定价可以做到GPT-6 API的1/5。 ...