技术原理

Flash Attention解决了什么问题？ 标准注意力计算需要将整个N×N的注意力矩阵存储在GPU高带宽内存（HBM）中。对于长序列，这个矩阵非常大——128K序列长度的注意力矩阵需要约64GB HBM。GPU核心（SM）与HBM之间的数据搬运成为瓶颈。 Flash Attention的核心创新：不在HBM中实例化完整注意力矩阵，而是在SRAM中分块计算。 GPU内存层次 理解Flash Attention需要先理解GPU的内存层次： SRAM (片上共享内存) ├── 延迟: ~20 cycles ├── 带宽: ~19 TB/s (A100) └── 容量: ~192KB per SM HBM (高带宽内存) ├── 延迟: ~200+ cycles ├── 带宽: ~2 TB/s (A100) └── 容量: 80GB (A100) 标准注意力的问题：在HBM中读写O(n²)大小的矩阵，受限于2TB/s的HBM带宽。 Flash Attention的解决思路：将计算分块，每块在SRAM中完成，减少HBM访问次数。 算法原理 标准注意力计算 S = Q @ K^T / √d # [N, N] 注意力分数 P = softmax(S) # [N, N] 归一化 O = P @ V # [N, d] 输出 问题：S和P是N×N矩阵，需要完整存储在HBM中。 ...

蒸馏的本质 知识蒸馏（Knowledge Distillation）的核心思想：用一个强大但昂贵的"教师模型"指导训练一个小而快的"学生模型"，让小模型在特定任务上接近大模型的表现。 这不是简单的模仿——而是一种知识迁移技术。 蒸馏的三层含义 1. 响应蒸馏（Response Distillation） 最直接的方式：让学生模型学习教师模型的输出分布。 传统方法（分类任务）： 教师模型: soft_targets = softmax(logits_T / T) 学生模型: soft_pred = softmax(logits_S / T) 蒸馏损失: KL(soft_targets || soft_pred) * T² 温度参数T软化概率分布，让学生能学到"次优答案也有一定概率"的暗知识。 大模型时代： 教师(GPT-4): prompt → 优质回答 学生(小模型): prompt → 学习生成同样的回答 SFT训练: loss = CrossEntropy(student_output, teacher_answer) 2. 特征蒸馏（Feature Distillation） 不只学输出，还学中间表示： 教师中间层特征: h_T = Teacher.layer_k(input) 学生中间层特征: h_S = Student.layer_j(input) 蒸馏损失: MSE(project(h_S), h_T) + α * CE(output, label) 需要设计投影层（projection layer），因为教师和学生的隐藏维度可能不同。 对于Transformer模型，可以蒸馏： 注意力权重分布 隐藏状态向量 前馈网络中间表示 3. Agent蒸馏（Agent Distillation） 2026年的新趋势——不只是蒸馏静态回答，而是蒸馏Agent行为： ...

长上下文为什么重要？ 长上下文是Agent的基础设施。Agent需要记住长对话历史、处理长文档、执行多步推理——这些都依赖模型处理超长上下文的能力。从4K到1M，上下文窗口的扩展正在改变AI应用的可能性边界。 核心挑战 挑战一：注意力计算的二次复杂度 标准Transformer的自注意力计算复杂度是O(n²)： Attention(Q, K, V) = softmax(QK^T / √d) * V Q: [n, d], K: [n, d] → QK^T: [n, n] → O(n²) 从4K到128K，计算量增长1000倍。直接外推不可行。 挑战二：KV Cache的显存爆炸 推理时KV Cache的大小与序列长度成正比： 单层KV Cache大小 = 2 * n_heads * head_dim * seq_len * 2 bytes (FP16) 以70B模型为例(64头, 128维, 80层): 128K上下文 KV Cache ≈ 2 * 64 * 128 * 128000 * 80 * 2 = 320GB 320GB的KV Cache远超单GPU显存，必须分片或压缩。 挑战三：长程信息衰减 即使能处理长上下文，模型对中间部分的信息利用效率也在下降——这被称为"Lost in the Middle"现象： ...

什么是幻觉？ 幻觉（Hallucination）指大模型生成看似合理但事实上不正确的信息。不是简单的"不知道"，而是"自信地说错了"——这是部署AI系统最大的信任障碍。 幻觉的成因 1. 训练数据层面 数据噪声：互联网文本包含大量错误信息。模型从中学到了"看起来权威但不准确"的表述模式。 知识冲突：同一问题的不同来源给出不同答案。模型根据训练分布概率生成，而非基于事实判断。 信息过时：训练数据有截止日期。模型对训练后发生的事情"编造"答案。 2. 模型架构层面 统计本质：LLM本质是概率模型——预测下一个最可能出现的token。它不是从知识库中"检索"事实，而是"生成"看似合理的文本。 无来源标注：模型无法区分"学过的知识"和"推理出的结论"和"编造的内容"。一切输出都是概率分布的采样。 过度自信：SFT训练让模型习惯给出明确答案，即使它不确定。RLHF中的"帮助性"偏好也鼓励模型"给出答案"而非"承认不知道"。 3. 推理层面 长推理链错误累积：多步推理中，每一步有概率出错，错误会累积。5步推理每步95%准确率，整体只有77%。 上下文干扰：长prompt中关键信息可能被淹没。模型注意力被无关内容分散。 幻觉类型 事实性幻觉 生成不存在的事实： “爱因斯坦在1955年获得了诺贝尔物理学奖”（实际是1921年） 虚构的研究论文引用 不存在的历史事件 逻辑幻觉 推理过程看似合理但逻辑错误： “所有猫都是动物，所有动物都会飞，所以猫会飞”（逻辑结构正确但前提错误） 数学计算步骤正确但最终结果错误 上下文幻觉 生成与提供上下文矛盾的内容： 上下文说"2025年"，模型说"2024年的最新数据" 文档说"不支持X功能"，模型说"支持X功能" 格式幻觉 输出格式不符合要求： 要求JSON但输出markdown 引用不存在的段落编号 检测方法 内部置信度估计 Logprob分析：模型输出的token概率分布。低置信度区域可能是幻觉信号。 # 伪代码 logprobs = model.generate(prompt, return_logprobs=True) confidence = mean(logprobs) if confidence < threshold: flag_as_potential_hallucination() Token Entropy：高熵（不确定性大）的token更可能是幻觉。 外部验证 事实核查：将生成内容与知识库对比： 提取模型输出的实体和关系 在知识图谱中验证 标记无法验证的内容 检索验证：将生成内容作为query检索： 检索到的文档是否支持该内容 使用NLI（自然语言推理）模型判断"支持/矛盾/中立" 自我评估 让模型评估自己的输出： Prompt: "审查以下回答是否包含不准确信息。对每句话标注'确认'或'不确定'： 回答: {model_output}" 模型自我审查能发现约50-60%的幻觉，比不做检查好，但不能完全依赖。 交叉验证 用不同模型生成同一回答，比较一致性： 高一致性 → 更可信（但不保证正确） 低一致性 → 需要人工审查 缓解策略 训练层 高质量数据：提高训练数据的事实准确性 拒答训练：训练模型在不确定时说"我不知道" RAG fine-tuning：用带检索的训练数据，让模型习惯"基于证据"回答 Constitutional AI：宪法规则包含"不编造信息" 推理层 RAG增强：提供可靠的外部知识，减少编造的动机 Chain of Thought：让推理过程显式，便于发现错误 Self-Consistency：多次采样取一致答案 温度控制：降低temperature减少随机性 约束解码：限制输出在事实范围内（如constrained decoding） 应用层 引用标注：要求输出标注来源 后验证：对输出做事实核查 人工审核：高风险场景必经人工 不确定性展示：向用户展示置信度 RAG是幻觉的银弹吗？ RAG大幅减少幻觉，但不能完全消除： ...

MoE：用参数量换计算效率 MoE（Mixture of Experts）的核心思想很简单：不是所有参数都需要参与每次计算。通过路由机制，只激活与当前输入最相关的"专家"子网络，在保持大参数量的同时大幅降低计算量。 基本原理 稠密模型 vs 稀疏模型 传统稠密模型：每个token经过所有参数的计算。 输入token → [Attention] → [MLP(d, d_ff)] → 输出 所有参数参与计算 MoE模型：MLP层被替换为多个专家MLP，路由器选择激活哪些专家。 输入token → [Attention] → [Router] → 选择Top-K专家 ↓ [Expert1] [Expert2] ... [ExpertN] ↓ (仅K个被激活) 加权合并 → 输出 关键参数 专家数(N)：总专家数量。通常8-64个 激活数(K)：每个token激活的专家数。通常2-8个 稀疏率：1 - K/N。如8/64的配置，稀疏率为87.5% 以DeepSeek-V3为例：256个专家，每token激活8个，总参数671B但推理时只激活37B——等效于37B模型的计算量，但拥有671B参数的知识容量。 路由机制 基础路由 最简单的路由方式： def route(token, experts): # 计算token与每个专家的亲和度 scores = softmax(W_router @ token) # [N] # 选择Top-K个专家 top_k_indices = argsort(scores)[-K:] top_k_scores = scores[top_k_indices] # 归一化 top_k_scores /= top_k_scores.sum() # 加权合并 output = sum(experts[i](token) * top_k_scores[i] for i in top_k_indices) return output 负载均衡问题 基础路由有一个严重问题：路由坍缩。模型倾向于总是选择少数几个"好"专家，其他专家得不到训练。 ...

数据是新的代码 传统软件的"代码"在大模型时代变成了"数据"。模型的智能本质上是训练数据的压缩和重组。数据质量决定模型能力上限，算法和算力决定我们能多接近这个上限。 数据全流程 1. 数据采集 预训练数据来源 来源 占比(典型) 质量 说明 网页爬取 60-70% 中低 Common Crawl为主 书籍 5-10% 高 长文本、知识密集 论文 3-5% 高 学术知识 代码 5-10% 高 GitHub/The Stack 对话 5-10% 中 Reddit/社交平台 多语言 10-20% 中 各语言网页 合成数据 2026年趋势：合成数据占比越来越高。用强模型生成高质量训练数据： 知识合成：生成教科书式知识讲解 指令合成：生成多样化指令-回答对 推理合成：生成带思维链的推理过程 合成数据的关键风险是"模型坍缩"（model collapse）——如果训练数据全部来自模型生成，可能退化。需要确保一定比例的真实数据。 2. 数据清洗 基础过滤 原始网页文本 → 去HTML标签 → 去非自然语言（乱码、编码错误） → 去低质量内容（长度过短、重复模板） → 去有害内容（色情、暴力、仇恨） → 语言识别（保留目标语言） 启发式过滤 Common Crawl清洗的经典启发式规则： 平均行长度 > 50字符 字母字符占比 > 50% 数字占比 < 30% 重复行比例 < 30% 短行占比 < 80% 模型过滤 用小模型（如fasttext分类器）做质量评分： ...

工具调用：Agent的双手 没有工具调用能力的LLM只是一个"会说话的大脑"。真正的Agent需要调用API、执行代码、读写文件——这些都需要工具调用机制。 演进历程 阶段一：Prompt工程时代（2022-2023） 最早的工具调用靠Prompt引导： 你可以使用以下工具： 1. search(query): 搜索网页 2. calculator(expr): 数学计算 如果需要使用工具，请输出以下格式： <tool>search("天气")</tool> 这种方式的问题： 格式不稳定，模型经常不遵守 参数提取容易出错 无法处理多步工具调用 阶段二：Function Calling时代（2023-2024） OpenAI在2023年6月推出Function Calling，将工具调用作为原生API能力： response = openai.chat.completions.create( model="gpt-4", messages=[{"role": "user", "content": "北京天气"}], tools=[{ "type": "function", "function": { "name": "get_weather", "description": "获取城市天气", "parameters": { "type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"] } } }] ) # response.choices[0].message.tool_calls 模型输出结构化的工具调用请求，API层解析后执行。 阶段三：标准化时代（2024-2026） MCP协议将工具调用标准化，实现"一次开发，处处可用"。 Function Calling的技术细节 工作流程 1. 用户消息 + 工具定义 → LLM 2. LLM输出 → tool_call(name, args) 3. 应用层执行工具 4. 工具结果 → LLM 5. LLM基于结果生成回答 关键参数 tools定义： { "type": "function", "function": { "name": "string", "description": "string", "parameters": { // JSON Schema格式 } } } tool_choice控制： auto：模型自主决定是否调用 none：禁止调用 required：必须调用 {"function": {"name": "xxx"}}：指定调用特定工具 并行调用 现代模型支持在单次响应中输出多个tool_call： ...

AI视频生成的技术跃迁 2024年OpenAI发布Sora，AI视频生成从"能动"走向"能看"。到2026年，视频生成已经发展出完整的技术栈和商业生态。 技术路线全景 路线一：扩散模型+时空注意力（主流） Sora采用的核心架构是DiT（Diffusion Transformer）： 噪声视频块 → 去噪(迭代) → 清晰视频 关键组件: - 时空Transformer：处理空间和时间维度的联合注意力 - 时空Patch：将视频切分为时空块（类似ViT的patch机制） - 扩散过程：从纯噪声逐步去噪到清晰视频 核心创新是"时空Patch"机制： 将视频分解为时空立方体 每个patch作为token输入Transformer 类比：文本token→视频时空token 好处：统一的框架，可处理不同分辨率和时长 路线二：自回归模型 将视频帧序列视为token序列，用next-token prediction方式生成： 每帧量化为离散token 自回归生成帧序列 代表：VideoPoet、Kinetix 优势：天然支持文本条件 劣势：时间一致性不如扩散模型 路线三：掩码建模 类似MAE（Masked Autoencoder），随机遮蔽部分帧后重建： 训练：随机遮蔽视频帧，学习重建 推理：从部分帧"补全"完整视频 优势：速度快（只需1-2次forward而非50步去噪） Sora架构深度分析 时空Patch化 输入视频被切分为时空patch： 空间维度：每16×16像素为一个patch 时间维度：每4帧为一个时间块 每个patch编码为一个向量 这种设计让模型天然支持不同分辨率和长宽比——不需要裁剪到固定尺寸。 扩散Transformer 去噪过程在patch token空间中进行： x_t = 噪声视频tokens t = 扩散时间步 c = 文本条件(text encoding) ε = DiT(x_t, t, c) # 预测噪声 x_{t-1} = 去噪一步(x_t, ε) DiT使用大规模Transformer（数十亿参数），支持长序列的时空建模。 ...

AI算力市场的变与不变 过去三年，AI芯片市场经历了前所未有的变化。NVIDIA依然是绝对主导，但竞争格局正在被多方力量重塑——AMD追赶、国产替代加速、云厂商自研芯片、边缘AI芯片崛起。 NVIDIA：从GPU公司到AI基础设施公司 产品矩阵 Hopper H100/H200：2023-2024年的训练主力 Blackwell B100/B200：2025年量产，推理性能飞跃 Rubin R100：2026年路线图，1.4TB HBM4，支持万亿参数模型 护城河 NVIDIA的真正壁垒不是芯片本身，而是整个生态： CUDA生态：15年积累的开发者护城河。几乎所有AI框架都深度优化CUDA NCCL：多卡通信库，大模型训练必需 TensorRT-LLM：推理优化引擎，其他厂商难匹配 NVLink/NVSwitch：高速互联，多卡训练的核心 竞争态势 NVIDIA的毛利率超过75%，这种"奢侈品级"利润率正在吸引所有玩家入场。但短期内其生态优势难以撼动。 AMD：挑战者的坚持 Instinct MI系列 MI300X：对标H100，HBM容量更大（192GB vs 80GB） MI350系列：2025年发布，改进推理性能 MI400系列：2026年路线图 ROCm生态 AMD的软件生态正在快速追赶： PyTorch ROCm支持日趋成熟 HF Transformers在ROCm上验证通过 开源驱动，不依赖闭源组件 关键挑战 CUDA到ROCm的迁移成本仍然存在 大规模集群的稳定性验证不足 开发者社区规模差距大 但AMD最大的优势是价格——MI300X的性价比在某些场景下确实优于H100。 华为昇腾：国产替代的标杆 硬件路线 昇腾910B：对标A100，7nm工艺 昇腾910C：2025年量产，性能对标H100 昇腾920：2026年路线图，预期对标H200 CANN软件栈 华为构建了完整的软件栈： CANN（Compute Architecture for Neural Networks） MindSpore框架（对标PyTorch） MindIE推理引擎（对标TensorRT） 实际适配情况 支持3B-70B模型训练和推理 与主流框架的适配通过插件实现 大规模训练稳定性仍有提升空间 生态挑战 开发者社区规模远小于CUDA生态 迁移成本高，需要改代码 第三方工具链支持不足 Google TPU：内部驱动+外部服务 TPU v5/v6 v5p：适合大模型训练，性能约为H100的1.5倍 v6：2025-2026部署，推理性能大幅提升 软件生态 JAX/XLA：Google力推的ML框架 PaxML：大模型训练框架 Triton后端支持 特点 TPU是面向大模型的专用芯片： ...

多模态的意义 真实世界的信息本就是多模态的——文字、图像、声音、视频。纯文本大模型只能理解被"文字化"的世界，而多模态模型直接感知原始信号，能力上限更高。 技术演进路线 阶段一：双塔模型（CLIP时代） CLIP开创了图文对齐的标准范式： 图像 → Image Encoder → 图像向量 I ∈ R^d 文本 → Text Encoder → 文本向量 T ∈ R^d 对比损失: 最大化匹配对的相似度，最小化不匹配对的相似度 CLIP的核心贡献是证明了"大规模弱监督预训练"的有效性——用4亿图文对训练，不需要精细标注。 但双塔模型有根本限制：图文交互只在最终向量层发生，无法做细粒度的图文理解（如"图片左上角的红色物体是什么"）。 阶段二：桥接模型（BLIP/LLaVA时代） 桥接模型用一个适配层将视觉特征"翻译"到语言空间： 图像 → ViT → 视觉特征 → MLP Projector → 语言特征 tokens ↓ 文本 prompt + 视觉tokens → LLM → 回答 LLaVA的关键创新： 用GPT-4生成图文指令数据 两阶段训练：先训projector，再SFT 证明了"视觉编码器+投影层+LLM"的简洁架构有效 局限： 视觉token数量固定，不能动态调整 投影层能力有限，可能丢失视觉信息 训练分阶段，无法端到端优化 阶段三：原生多模态（GPT-4V/Qwen-VL时代） 原生多模态模型将视觉编码器和语言模型在预训练阶段就联合训练： 关键设计： 视觉编码器提取多分辨率特征 视觉token可变长（根据图像复杂度动态生成不同数量token） 在预训练阶段就混合图文数据 支持任意位置插入图像token Qwen-VL的技术细节： 图像 → ViT(变体) → 图像token序列 → 位置感知的adapter → 与文本token拼接 → Qwen LLM处理 Qwen-VL支持动态分辨率：大图像生成更多token，小图像生成更少token。通过这种方式保留了图像细节。 ...