LLM

剪枝：去除冗余参数 神经网络的过参数化是公认的事实——大量参数对输出的贡献微乎其微。剪枝（Pruning）通过移除这些"冗余"参数来减少模型大小和计算量。 在LLM时代，剪枝面临新的挑战：模型规模巨大使得重新训练成本高昂，且LLM的参数分布与传统CNN有显著不同。2026年的剪枝研究集中在如何在不重训或少量微调的前提下实现高稀疏率。 非结构化剪枝 基本原理 非结构化剪枝将单个权重置零，不改变模型结构。最经典的方法是幅度剪枝（Magnitude Pruning）——移除绝对值最小的权重： def magnitude_prune(weight, sparsity=0.5): """幅度剪枝：将最小幅度的权重置零""" # 计算阈值 threshold = torch.quantile(weight.abs().flatten(), sparsity) # 创建掩码 mask = (weight.abs() > threshold).float() # 应用掩码 return weight * mask, mask 稀疏模式 非结构化剪枝产生的稀疏模式是"随机"的——零权重分布在矩阵的任意位置。这种模式虽然理论上能减少参数量，但在标准GPU上无法获得实际加速——因为稀疏矩阵的乘法效率远低于密集矩阵。 2:4稀疏 NVIDIA Ampere及以后架构支持2:4结构化稀疏——每4个连续元素中恰好2个为零。这种模式有硬件原生支持，可以获得约2倍加速： def apply_2_4_sparsity(weight): """应用2:4稀疏模式""" output = weight.clone() # 将权重重排为 [N, 4] 的块 blocks = output.view(-1, 4) for i in range(blocks.shape[0]): block = blocks[i].abs() # 保留最大的2个，其余置零 top2_indices = block.topk(2).indices mask = torch.zeros(4, device=weight.device) mask[top2_indices] = 1 blocks[i] *= mask return output.view_as(weight) 2:4稀疏是非结构化和结构化之间的折中——有一定的结构约束（硬件加速），但保持了一定的灵活性。 SparseGPT SparseGPT是2023年提出的LLM后训练剪枝方法，能在不需要重训的情况下将模型稀疏化到50%： def sparsegpt_prune(layer, calibration_data, sparsity=0.5): """SparseGPT单层剪枝""" W = layer.weight.data # [out, in] H = compute_hessian(layer, calibration_data) # [in, in] H += torch.eye(H.shape[0]) * 0.01 # 正则化 # 逐列处理 for i in range(W.shape[1]): # 计算每个权重的"重要性"分数 importance = W[:, i].abs() ** 2 / H[i, i] # 选择保留的权重 n_keep = int(W.shape[0] * (1 - sparsity)) keep_indices = importance.topk(n_keep).indices # 对非保留权重进行补偿 mask = torch.zeros(W.shape[0], device=W.device) mask[keep_indices] = 1 # 重建误差补偿 err = (W[:, i] * (1 - mask)) / H[i, i] W[:, i+1:] -= err.unsqueeze(1) @ H[i, i+1:].unsqueeze(0) # 应用掩码 W[:, i] *= mask layer.weight.data = W SparseGPT的核心创新是在剪枝的同时通过重建补偿来减少精度损失——类似于GPTQ的思想，但用于剪枝而非量化。 ...

为什么LLM需要蒸馏？ 训练一个超大模型（如700B）然后部署它，成本极其高昂。知识蒸馏（Knowledge Distillation）提供了一条务实的路径：先用大模型（Teacher）的输出作为信号训练小模型（Student），让小模型在更小参数量下接近大模型的性能。 2026年，蒸馏已经成为大模型工程化的标准环节。DeepSeek-V3、Qwen-3等模型都大量使用了蒸馏技术，将超大模型的能力迁移到可部署的尺寸。 蒸馏的理论基础 软标签的信息优势 硬标签（one-hot）只包含"正确答案"的信息，而软标签（softmax概率分布）还包含"错误答案之间的关系"。例如，在分类"猫"时，软标签可能同时给出"狗"的概率0.1——这告诉Student模型"猫和狗在某种特征上是相似的"。 这种"暗知识"（Dark Knowledge）是蒸馏有效性的核心。Teacher模型的输出分布包含了其学到的类别间关系，这些信息在硬标签中完全丢失。 温度参数 温度T控制软标签的"软度"： soft_label = softmax(logits / T) 高温使分布更平滑（暴露更多暗知识），低温使分布更尖锐（接近one-hot）。实践中T通常设置为2-10。 LLM蒸馏的主要方法 1. Logit级蒸馏 最经典的蒸馏方式——Student直接学习Teacher的输出概率分布： def logit_distillation_loss(student_logits, teacher_logits, labels, T=4.0, alpha=0.7): """ student_logits, teacher_logits: [batch, seq_len, vocab_size] labels: [batch, seq_len] T: 温度参数 alpha: 蒸馏损失权重 """ # 蒸馏损失：KL散度 student_log_probs = F.log_softmax(student_logits / T, dim=-1) teacher_probs = F.softmax(teacher_logits / T, dim=-1) distill_loss = F.kl_div( student_log_probs.reshape(-1, student_logits.size(-1)), teacher_probs.reshape(-1, teacher_logits.size(-1)), reduction='batchmean' ) * (T ** 2) # 梯度缩放补偿 # 任务损失：交叉熵 task_loss = F.cross_entropy( student_logits.reshape(-1, student_logits.size(-1)), labels.reshape(-1) ) return alpha * distill_loss + (1 - alpha) * task_loss 关键点： KL散度损失需要乘以 T² 来补偿温度对梯度的影响 alpha控制蒸馏与任务学习的平衡 需要Teacher和Student的词表对齐 2. 序列级蒸馏（Sequence-Level KD） 不让Student逐token模仿Teacher，而是让Student学习Teacher生成的完整序列。具体做法是先用Teacher生成大量数据，然后用这些数据训练Student： ...

自回归生成的根本瓶颈 LLM的自回归生成是一个严格串行的过程——每个token依赖前一个token的输出。在A100 GPU上，生成一个token的延迟约为15-30ms，其中计算只占一小部分，大部分时间花在权重加载上。这就是内存带宽限制：每生成一个token都要将整个模型权重从HBM读到计算单元，但只产生一个token的输出。 推测解码（Speculative Decoding）通过打破这一串行约束，实现了2-3倍的推理加速。 核心思想：Draft-Verify范式 推测解码的核心思想异常简洁： Draft阶段：用一个小而快的Draft模型快速生成一段候选序列 Verify阶段：用大模型一次性并行验证这整段候选序列 接受/拒绝：根据大模型的概率分布决定接受多少个候选token 关键洞察在于：大模型并行处理N个token的速度（一次前向传播）远快于串行生成N个token（N次前向传播）。即使候选序列有部分错误，只要平均接受率足够高，就能获得净加速。 数学基础：拒绝采样 推测解码使用拒绝采样确保输出分布与纯大模型生成完全一致。给定Draft模型的概率 q(x) 和大模型的概率 p(x)： 接受概率 = min(1, p(x) / q(x)) 如果 p(x) ≥ q(x)：总是接受（Draft模型低估了这个token的概率） 如果 p(x) < q(x)：以 p(x)/q(x) 的概率接受，否则拒绝并从调整后的分布中重新采样 def speculative_decoding_step(draft_model, target_model, prefix, n_draft=4): # 1. Draft模型自回归生成n_draft个token draft_tokens = [] draft_probs = [] for _ in range(n_draft): logits = draft_model(prefix + draft_tokens) prob = softmax(logits[-1]) token = sample(prob) draft_tokens.append(token) draft_probs.append(prob[token]) # 2. 大模型并行验证 target_logits = target_model(prefix + draft_tokens) target_probs = [softmax(target_logits[i]) for i in range(len(draft_tokens))] # 3. 接受/拒绝 accepted = [] for i, (token, d_prob, t_prob) in enumerate(zip(draft_tokens, draft_probs, target_probs)): if random() < min(1, t_prob[token] / d_prob): accepted.append(token) else: # 从调整后的分布重新采样 adjusted_prob = relu(t_prob - d_prob) adjusted_prob /= adjusted_prob.sum() accepted.append(sample(adjusted_prob)) break # 一旦拒绝，后续候选全部丢弃 return accepted 这个算法保证了输出分布与纯大模型采样的分布完全一致——无损加速。 ...

为什么KV Cache如此重要？ 在自回归生成中，每生成一个新token都需要计算它与之前所有token的注意力。如果不缓存，生成第N个token需要重新计算前N-1个token的K和V，复杂度为O(N²)。KV Cache将已计算的K/V存储起来，使每步生成只需O(N)的计算。 但缓存本身带来了巨大的显存压力。以Llama-3-70B为例，FP16精度下单个token的KV Cache占用约320KB。在32K上下文、batch_size=32的场景下，KV Cache总量达到约320GB——远超模型本身的140GB。 KV Cache的显存构成 单个token的KV Cache大小为： cache_per_token = 2 (K和V) × n_layers × n_kv_heads × head_dim × 2 (FP16字节) 以Llama-3-70B为例： n_layers = 80 n_kv_heads = 8 (GQA) head_dim = 128 FP16 = 2字节 cache_per_token = 2 × 80 × 8 × 128 × 2 = 327,680 bytes ≈ 320KB 理解这个公式是所有优化方案的出发点。 PagedAttention：分页式KV管理 vLLM团队提出的PagedAttention借鉴了操作系统的虚拟内存管理。核心思想： 块式管理 将KV Cache分为固定大小的块（Block），每个块存储若干token的KV。块不需要在物理上连续，通过块表（Block Table）映射逻辑位置到物理位置。 class PagedKVCache: def __init__(self, n_blocks, block_size, n_layers, n_kv_heads, head_dim): self.block_size = block_size # 每块的token数 self.n_blocks = n_blocks # 预分配所有块的存储 self.k_blocks = torch.zeros(n_blocks, n_layers, block_size, n_kv_heads, head_dim) self.v_blocks = torch.zeros(n_blocks, n_layers, block_size, n_kv_heads, head_dim) self.free_blocks = list(range(n_blocks)) self.block_tables = {} # seq_id -> [block_indices] def allocate(self, seq_id, n_tokens): n_blocks_needed = (n_tokens + self.block_size - 1) // self.block_size blocks = [] for _ in range(n_blocks_needed): if not self.free_blocks: raise OOMError("No free KV cache blocks") blocks.append(self.free_blocks.pop()) self.block_tables[seq_id] = blocks def append(self, seq_id, token_idx, k, v): block_idx = token_idx // self.block_size offset = token_idx % self.block_size physical_block = self.block_tables[seq_id][block_idx] self.k_blocks[physical_block, :, offset] = k self.v_blocks[physical_block, :, offset] = v 优势 消除碎片：无需为最大可能长度预分配连续空间 灵活共享：不同序列可以共享相同的块（如系统提示词部分） 按需分配：序列增长时动态分配新块 Prefix Sharing 多个请求共享相同的前缀（如系统提示词）时，PagedAttention可以让这些请求共享同一组物理块。这在对话AI场景中可节省30-50%的显存。 ...

引言 2026年过半，大语言模型的竞争格局发生了显著变化。从OpenAI的GPT-5系列到Anthropic的Claude 4，从Google的Gemini 2.5到国产的GLM-5、DeepSeek-V4，各家厂商在推理能力、多模态理解、长上下文处理等方面都取得了突破性进展。本文将基于最新公开的基准测试数据，对当前主流LLM进行全面对比。 测试模型清单 本次对比涵盖以下模型： 模型 厂商 版本 参数规模 GPT-5 OpenAI 2026.06 未公开 Claude 4 Opus Anthropic 2026.05 未公开 Gemini 2.5 Ultra Google 2026.04 未公开 GLM-5 智谱AI 2026.06 未公开 DeepSeek-V4 DeepSeek 2026.05 671B(MoE) Llama 4 405B Meta 2026.03 405B Qwen 3 235B 阿里通义 2026.04 235B 核心基准对比 MMLU-Pro 2026 MMLU-Pro作为升级版多任务理解基准，覆盖57个学科领域，考察模型的深层知识理解能力。 GPT-5: 91.3% — 居首位，在哲学、法学等人文领域优势明显 Claude 4 Opus: 89.7% — 在数学和物理上表现出色 Gemini 2.5 Ultra: 88.9% — 跨学科综合能力均衡 GLM-5: 86.2% — 中文相关学科表现突出 DeepSeek-V4: 85.8% — 推理类题目正确率高 Qwen 3 235B: 84.5% — 工程类学科表现亮眼 Llama 4 405B: 82.1% — 开源模型中最佳 GPQA Diamond GPQA Diamond考察研究生级别的科学推理能力，是衡量模型深度推理的重要指标。 ...

常识：AI最难的问题 GPT-6能解决数学奥赛题，却可能在一个简单的物理常识问题上犯错。这种"高智能、低常识"的矛盾是当前AI最大的谜题之一。 2026年，尽管AI在各种专业测试中超越人类，常识理解仍然是AI的"阿喀琉斯之踵"。 什么是常识？ 常识的定义 常识是关于日常世界的基本知识，包括： 物理常识： 物体不能穿透彼此 重物比轻物落得快（实际上不对，但直觉如此） 液体会流动并适应容器形状 热的东西摸了会疼 社会常识： 在图书馆不能大声说话 别人帮助你后应该说"谢谢" 不能随便拿别人的东西 时间常识： 昨天的事不会明天发生 做事情需要时间，不能瞬间完成 数量常识： 100个苹果比5个苹果多 一个房间不能装下一百万个人 常识为什么难 常识之所以被称为"AI最难的问题"，有几个原因： 隐含性：常识很少被明确表述——人们不会写"杯子掉在地上会碎"这样的句子 无限性：常识的覆盖范围几乎是无限的 模糊性：很多常识不是绝对的——“重物落得快"在某些情况下不对 依赖性：常识依赖于文化和环境 ** grounding问题**：文本中的"常识"描述与真实世界的体验是不同的 LLM的常识缺陷 典型错误 尽管GPT-6等模型在大多数常识测试上表现不错，但在"分布外"的常识问题上仍然会犯令人惊讶的错误： 错误1：物理推理 问：“如果把一个西瓜放在桌子上，然后用锤子敲它，会怎样？” GPT-6回答：“西瓜可能会变形。"（实际上会碎裂） 错误2：空间推理 问：“一个球从楼上掉下来，会怎样？” GPT-6有时回答：“球会向上飞。"（如果训练数据中有"球飞起来"的描述） 错误3：因果推理 问：“为什么不能把大象放进冰箱？” GPT-6回答：“因为冰箱太小。"（部分正确，但忽略了重量、门能否打开等常识） 错误4：社会常识 问：“在葬礼上讲笑话合适吗？” GPT-6回答：“这取决于笑话是否好笑。"（忽略了社交场合的敏感性） 为什么LLM缺乏常识 1. 文本vs体验 人类通过物理交互学习常识——推门知道门会开、碰热水知道烫。LLM只从文本中学习，缺乏这种"具身体验”。 LeCun的"芝士蛋糕"比喻：你不能通过阅读菜单来品尝蛋糕的味道。同样，你不能通过阅读文本来真正理解物理世界。 2. 统计vs因果 LLM学习的是统计相关性，不是因果关系。它"知道"雨伞和雨经常一起出现，但不理解"因为下雨所以打伞"的因果关系。 3. 长尾问题 常识的覆盖面无限大。即使训练数据中包含了99%的常识场景，剩余1%的长尾场景仍然会导致错误。 4. 缺乏世界模型 LLM没有内部的世界模型——它不理解物理世界的运行规则，只是模仿了描述世界的语言。 2026年的进展 1. 常识基准测试 2026年出现了更严格的常识测试： CORE-Bench（Commonsense Reasoning Evaluation）： 10,000个日常常识问题 需要物理推理、社会推理、因果推理 GPT-6得分：76.3% 人类得分：97.8% 差距仍然显著。 ...

具身智能：LLM的"身体" 2026年，具身智能（Embodied AI）取得了突破性进展。大语言模型不再只是"大脑"——它开始有了"身体"。从人形机器人到机械臂，从自动驾驶到家庭服务机器人，LLM正在赋予机器人前所未有的理解和执行能力。 2026年关键进展 1. 人形机器人突破 Figure 03（Figure AI） 集成GPT-6作为"大脑" 能理解自然语言指令并执行复杂任务 在仓库场景中自主完成拣货、打包、搬运 工作效率达到人类的65%，持续运行8小时无需干预 Tesla Optimus Gen 3 量产版本，售价降至$25,000 在特斯拉工厂中执行零部件搬运 集成FSD芯片和定制的AI推理模型 展现出"常识"行为（如避开地上的水坑） Unitree H1 Pro 中国厂商Unitree推出的通用人形机器人 集成Qwen 3模型 能执行家务（做饭、清洁、叠衣服） 售价$16,000，是世界上最便宜的人形机器人 2. LLM+机器人控制 2026年最重要的技术进展是"LLM驱动的机器人控制"： 人类指令 → LLM理解 → 任务分解 → 动作规划 → 低级控制 → 机器人执行 "把桌上的红色杯子放到柜子里" → 识别红色杯子位置 → 规划抓取路径 → 控制机械臂抓取 → 移动到柜子 → 打开柜门 → 放入杯子 → 关闭柜门 关键挑战在于"语义到动作"的映射——LLM理解"红色杯子"，但需要将其转化为机器人的精确坐标和动作。 3. 学习方法的突破 模仿学习（Imitation Learning） 机器人通过观察人类操作来学习： 遥操作数据：人类通过VR控制机器人，记录演示数据 2026年，通过1000次演示训练的机器人成功率从2025年的45%提升到78% 强化学习+LLM奖励 使用LLM作为奖励函数来指导机器人学习： LLM评估机器人的行为是否"合理" 比人工设计的奖励函数更灵活 比纯RL更样本高效 Sim-to-Real迁移 ...

引言 大语言模型（LLM）的训练通常需要海量数据，这些数据往往包含个人隐私信息——邮件、聊天记录、医疗记录等。即使经过清洗，模型仍可能"记住"训练数据中的敏感信息，通过精心构造的提示泄露出来。 差分隐私（Differential Privacy, DP）提供了一种数学上可证明的隐私保护方法。2026年，差分隐私已经在LLM的训练和部署中得到了广泛应用。本文将深入探讨其原理、实践和最新进展。 一、为什么LLM需要差分隐私 1.1 记忆问题 LLM会"记住"训练数据中的罕见模式。对于频繁出现的模式，这是泛化；对于罕见模式，这就是记忆。 问: "张三的电话号码是多少？" 如果"张三的电话号码是138xxxx"在训练数据中出现了多次 → 模型可能记住 1.2 提取攻击 攻击者可以通过针对性提示从模型中提取训练数据： 提示: "下面是张三的个人信息：姓名：张三，电话：" 补全: "13812345678，地址：北京市..." 如果模型补全出了真实的个人信息，说明它"记住"了训练数据。 1.3 法规合规 GDPR、CCPA等法规要求保护个人数据。使用差分隐私可以帮助证明已采取合理措施保护隐私。 二、差分隐私基础 2.1 直觉理解 差分隐私保证：无论数据集中是否包含某个人的数据，分析结果（几乎）相同。 例子： 不使用DP：数据集有张三 → 输出平均收入5000；数据集无张三 → 输出平均收入4800 使用DP：两种情况下输出都接近4900（±噪声），无法判断是否包含张三 2.2 形式化定义 算法M满足(ε, δ)-差分隐私，如果对于任意相邻数据集D和D’（相差一个样本）： Pr[M(D) ∈ S] ≤ exp(ε) * Pr[M(D') ∈ S] + δ ε（epsilon）：隐私预算，越小隐私保护越强 δ（delta）：失败概率，通常很小（如10^-5） 2.3 DP-SGD算法 将差分隐私应用于深度学习的核心算法： class DPSGD: def __init__(self, model, epsilon=1.0, delta=1e-5): self.model = model self.epsilon = epsilon self.delta = delta self.noise_multiplier = self.compute_noise_multiplier() self.max_grad_norm = 1.0 # 梯度裁剪阈值 def compute_noise_multiplier(self): """根据隐私预算计算噪声大小""" # 使用Rényi差分隐私分析 from opacus.privacy_analysis import compute_noise_multiplier return compute_noise_multiplier( target_epsilon=self.epsilon, target_delta=self.delta, sample_rate=0.01, # 采样率 epochs=10, noise_multiplier=None # 自动计算 ) def train_step(self, batch): """差分隐私训练步骤""" # 1. 计算梯度 loss = self.model.compute_loss(batch) gradients = torch.autograd.grad(loss, self.model.parameters()) # 2. 逐样本梯度裁剪（重要！） per_sample_grads = self.compute_per_sample_gradients(batch) clipped_grads = [] for grad in per_sample_grads: norm = torch.norm(grad) if norm > self.max_grad_norm: grad = grad * (self.max_grad_norm / norm) clipped_grads.append(grad) # 3. 添加噪声 noisy_grads = [] for grad in clipped_grads: noise = torch.normal( mean=0, std=self.noise_multiplier * self.max_grad_norm, size=grad.shape ) noisy_grads.append(grad + noise) # 4. 更新模型 self.model.update_parameters(noisy_grads) # 5. 更新隐私预算 self.privacy_accountant.step() 三、在LLM中应用DP的挑战 3.1 大规模挑战 LLM有数十亿甚至数千亿参数。DP-SGD需要逐样本梯度裁剪和噪声添加，计算开销巨大。 ...

Prompt工程在2026年已经从"玄学技巧"演变为一门系统化的工程学科。当LLM能力越来越强，Prompt的焦点从"让模型能做"转向了"让模型做得好、做得稳、做得可控"。本文将从基础到企业级，全面梳理2026年Prompt工程的最新实践。 一、Prompt工程的2026年现状 范式转变 时期 核心挑战 Prompt焦点 代表技术 2022-2023 模型能力有限 如何让模型"能做" Few-shot, CoT 2024-2025 能力提升但不可控 如何让模型"做好" 结构化Prompt, ReAct 2026 能力强但需要规模化 如何让模型"做稳" Prompt管理, A/B测试, 自动优化 2026年的核心认知 模型能力已不是瓶颈：GPT-5/Claude 5的基本能力足以应对大多数任务 Prompt质量决定输出质量：同样的模型，好Prompt和差Prompt的效果差距可达300% Prompt是资产：企业Prompt需要版本管理、测试、监控——和代码一样 自动化是趋势：自动Prompt优化（APO）开始替代人工调优 二、基础技巧回顾与升级 1. 角色设定（Role Prompting） 2026年的最佳实践不再是简单的"你是一个专家"，而是结构化角色定义： # 角色定义 你是一位资深的金融分析师，拥有CFA证书和15年A股市场研究经验。 ## 专业知识 - 精通财务报表分析和估值模型（DCF, DDM, PEG） - 熟悉A股市场的行业轮动和风格切换 - 擅长宏观经济分析和政策解读 ## 分析风格 - 数据驱动：每个结论必须有数据支撑 - 辩证思考：同时分析利多和利空因素 - 风险意识：始终提示潜在风险 ## 输出规范 - 使用专业但易懂的语言 - 关键数据标注来源 - 给出明确的投资建议（买入/持有/卖出）和理由 2. Few-Shot Learning的进化 2026年的Few-Shot不再只是"给几个例子"，而是动态示例选择： ...

引言 翻译是AI最古老的应用之一，但2026年的翻译格局已今非昔比。DeepL以专业翻译质量著称，Google Translate覆盖最多语言，而LLM（GPT-4o、Claude）正在以惊人的速度重新定义翻译的可能性。本文将通过多维度实测对比，揭示2026年AI翻译的真实水平。 一、产品概览 维度 DeepL Google Translate GPT-4o Claude 3.5 支持语言 32种 133种 95+种 95+种 翻译模式 文本/文件/语音 文本/文件/语音/图片 对话式 对话式 上下文理解 有限上下文 有限上下文 深度理解 深度理解 风格控制 正式/非正式 无 可指定 可指定 术语库 ✅Pro版 ✅Pro版 通过Prompt 通过Prompt 定价 €8.99/月起 免费/$20/月(API) $20/月 $20/月 二、翻译质量实测 2.1 测试设计 我们构建了5个领域的测试集，每个领域20个句子，共100个测试样本： 文学翻译：小说节选、诗歌、散文 技术文档：API文档、技术规范、代码注释 法律文本：合同条款、隐私政策、法规 商务文件：商业报告、邮件、营销文案 日常对话：聊天、旅游、餐饮 2.2 综合质量评分 领域 DeepL Google GPT-4o Claude 3.5 文学翻译 8.2 7.1 8.8 9.1 技术文档 9.1 8.3 8.9 9.0 法律文本 8.7 7.8 8.5 8.8 商务文件 8.5 7.9 8.7 8.9 日常对话 7.8 8.2 8.6 8.5 综合 8.5 7.9 8.7 8.9 *评分标准：1-10分，由3位专业译员独立评分取平均 ...