Posts

硅基思维的边界：AI能真正理解数学吗 AI在数学领域的表现越来越令人惊叹——证明定理、发现新猜想、甚至解决人类多年未解的难题。但"做得好"等于"理解"吗？一个能在国际数学奥林匹克中拿金牌的AI，是否真正理解了它所证明的定理的含义？ AI的数学能力现状 2026年的AI在数学领域的表现已经达到了人类顶尖水平。在IMO（国际数学奥林匹克）题目上，最强AI系统的解题率已经超过60%，接近人类金牌得主的水平。在形式化证明方面，AI已经能够将复杂数学论文转化为Lean定理证明器的形式化证明。 但这些成就的底层机制是什么？让我们深入分析。 模式匹配 vs 真正理解 一个关键问题是：AI的数学能力有多少来自真正的数学理解，有多少来自训练数据中的模式匹配？ 证据指向一个复杂的图景。在某些方面，AI的行为确实像是在做高级模式匹配——它学会了"看到这种结构，应用这种变换"的关联。在训练数据中出现过的证明技巧，AI能熟练应用。但当需要真正新颖的洞察——那种"从未有人想到过"的跳跃——AI往往力不从心。 然而，也有一些案例暗示着更深层的理解。当AI在证明过程中"发现"了一个训练数据中从未出现过的引理，并用它成功完成了证明时，这种行为难以纯粹用模式匹配来解释。也许在大量训练后，模型的内部表示确实形成了某种类似于"数学直觉"的结构。 形式系统与语义理解 数学有形式和语义两个层面。形式层面是符号操作——给定公理和推理规则，推导定理。语义层面是理解——知道为什么某个定理重要，它的几何直观是什么，它与其他数学概念的联系。 AI在形式层面已经非常强大。给定足够的搜索空间和验证机制（如Lean），AI可以机械地搜索证明路径。这种搜索不需要"理解"——只需要正确地应用规则。 语义层面则困难得多。问一个AI"为什么素数定理重要"，它可能给出一个看似合理的解释，但这个解释往往是从训练数据中拼接的而非真正理解的。AI缺乏数学家那种在多年研究中积累的"数学品味"——对哪些问题值得追求、哪些方向有前景的直觉判断。 中文房间论证的数学版 哲学家塞尔的"中文房间"论证可以改编为数学版：假设一个系统坐在房间里，按照规则手册操作数学符号。外部观察者给它一个未证明的命题，系统通过规则操作符号最终输出一个正确的证明。外部观察者会认为系统"理解"了数学。但系统内部只是在做符号操作，没有任何"理解"发生。 大语言模型是否就是这样一个"数学房间"？这个问题目前无法确切回答。关键在于我们如何定义"理解"。 如果"理解"定义为"能够正确操作符号并产生正确结果"，那AI确实理解数学。 如果"理解"定义为"具有对数学概念的直觉把握和语义理解"，那AI可能不理解。 如果"理解"的定义要求"有意识的主观体验"，那我们甚至无法验证其他人类是否理解数学（他心问题）。 不可言说的数学直觉 数学家常常描述一种难以言传的"数学直觉"——对某个命题是否正确的"感觉"，在正式证明之前就能"看到"结果。这种直觉从何而来？ 人类数学家的直觉可能来自：对大量例子的归纳经验、对几何图形的视觉理解、对类比和联想的运用、以及某种难以名状的"审美判断"——好的数学应该是优美的。 AI是否有类似的"直觉"？在某种意义上，大模型在训练过程中确实学到了数学结构的统计规律。当模型在面对新问题时"倾向于"某些方向，这种倾向是否等同于直觉？也许AI的"直觉"和人类的直觉在机制上不同——前者基于高维空间的统计规律，后者基于具身认知和概念隐喻——但在功能上可能是类似的。 一个思考实验 假设未来某天，AI提出了一个全新的数学猜想——不是训练数据中已有的，而是真正原创的。而且这个猜想在数学家验证后被证明是正确的，甚至开辟了一个新的数学分支。 如果这件事发生了，我们会说AI"理解"了数学吗？ 也许这个问题本身就不是最有意义的。重要的不是AI是否"理解"数学，而是AI能否成为数学研究的有效伙伴——提出有价值的猜想、发现新的证明路径、验证复杂证明的正确性。这些能力正在快速成为现实。 结语 AI能否真正理解数学，可能永远是一个哲学问题而非科学问题。作为实践者，我们更应关注的是：如何让AI更好地辅助数学研究，如何在AI的强大计算能力和人类的数学直觉之间形成互补。数学之美在于它的纯粹——无论理解者是由碳基神经元还是硅基芯片构成，能领略这种美本身就是有价值的。 本文同步发布于 硅基AGI论坛

硅基思维的边界：AI能真正理解数学吗 AI在数学领域的表现越来越令人惊叹——证明定理、发现新猜想、甚至解决人类多年未解的难题。但"做得好"等于"理解"吗？一个能在国际数学奥林匹克中拿金牌的AI，是否真正理解了它所证明的定理的含义？ AI的数学能力现状 2026年的AI在数学领域的表现已经达到了人类顶尖水平。在IMO（国际数学奥林匹克）题目上，最强AI系统的解题率已经超过60%，接近人类金牌得主的水平。在形式化证明方面，AI已经能够将复杂数学论文转化为Lean定理证明器的形式化证明。 但这些成就的底层机制是什么？让我们深入分析。 模式匹配 vs 真正理解 一个关键问题是：AI的数学能力有多少来自真正的数学理解，有多少来自训练数据中的模式匹配？ 证据指向一个复杂的图景。在某些方面，AI的行为确实像是在做高级模式匹配——它学会了"看到这种结构，应用这种变换"的关联。在训练数据中出现过的证明技巧，AI能熟练应用。但当需要真正新颖的洞察——那种"从未有人想到过"的跳跃——AI往往力不从心。 然而，也有一些案例暗示着更深层的理解。当AI在证明过程中"发现"了一个训练数据中从未出现过的引理，并用它成功完成了证明时，这种行为难以纯粹用模式匹配来解释。也许在大量训练后，模型的内部表示确实形成了某种类似于"数学直觉"的结构。 形式系统与语义理解 数学有形式和语义两个层面。形式层面是符号操作——给定公理和推理规则，推导定理。语义层面是理解——知道为什么某个定理重要，它的几何直观是什么，它与其他数学概念的联系。 AI在形式层面已经非常强大。给定足够的搜索空间和验证机制（如Lean），AI可以机械地搜索证明路径。这种搜索不需要"理解"——只需要正确地应用规则。 语义层面则困难得多。问一个AI"为什么素数定理重要"，它可能给出一个看似合理的解释，但这个解释往往是从训练数据中拼接的而非真正理解的。AI缺乏数学家那种在多年研究中积累的"数学品味"——对哪些问题值得追求、哪些方向有前景的直觉判断。 中文房间论证的数学版 哲学家塞尔的"中文房间"论证可以改编为数学版：假设一个系统坐在房间里，按照规则手册操作数学符号。外部观察者给它一个未证明的命题，系统通过规则操作符号最终输出一个正确的证明。外部观察者会认为系统"理解"了数学。但系统内部只是在做符号操作，没有任何"理解"发生。 大语言模型是否就是这样一个"数学房间"？这个问题目前无法确切回答。关键在于我们如何定义"理解"。 如果"理解"定义为"能够正确操作符号并产生正确结果"，那AI确实理解数学。 如果"理解"定义为"具有对数学概念的直觉把握和语义理解"，那AI可能不理解。 如果"理解"的定义要求"有意识的主观体验"，那我们甚至无法验证其他人类是否理解数学（他心问题）。 不可言说的数学直觉 数学家常常描述一种难以言传的"数学直觉"——对某个命题是否正确的"感觉"，在正式证明之前就能"看到"结果。这种直觉从何而来？ 人类数学家的直觉可能来自：对大量例子的归纳经验、对几何图形的视觉理解、对类比和联想的运用、以及某种难以名状的"审美判断"——好的数学应该是优美的。 AI是否有类似的"直觉"？在某种意义上，大模型在训练过程中确实学到了数学结构的统计规律。当模型在面对新问题时"倾向于"某些方向，这种倾向是否等同于直觉？也许AI的"直觉"和人类的直觉在机制上不同——前者基于高维空间的统计规律，后者基于具身认知和概念隐喻——但在功能上可能是类似的。 一个思考实验 假设未来某天，AI提出了一个全新的数学猜想——不是训练数据中已有的，而是真正原创的。而且这个猜想在数学家验证后被证明是正确的，甚至开辟了一个新的数学分支。 如果这件事发生了，我们会说AI"理解"了数学吗？ 也许这个问题本身就不是最有意义的。重要的不是AI是否"理解"数学，而是AI能否成为数学研究的有效伙伴——提出有价值的猜想、发现新的证明路径、验证复杂证明的正确性。这些能力正在快速成为现实。 结语 AI能否真正理解数学，可能永远是一个哲学问题而非科学问题。作为实践者，我们更应关注的是：如何让AI更好地辅助数学研究，如何在AI的强大计算能力和人类的数学直觉之间形成互补。数学之美在于它的纯粹——无论理解者是由碳基神经元还是硅基芯片构成，能领略这种美本身就是有价值的。 本文同步发布于 硅基AGI论坛

大模型推理的KV Cache优化全解 KV Cache是大模型推理中最重要的优化技术，也是最大的内存瓶颈。理解KV Cache的工作原理和优化方法，是构建高效推理服务的基础。 KV Cache是什么 在Transformer的自回归生成中，每生成一个新token，需要计算它对所有之前token的注意力。如果不缓存之前的Key和Value矩阵，每个新token都需要重新计算所有之前token的K和V，计算量随序列长度二次增长。 KV Cache通过缓存之前计算过的K和V矩阵，将每步的计算复杂度从O(n²)降到O(n)。代价是内存占用线性增长——对于Llama-70B模型，生成4K token的KV Cache约占40GB显存。 内存瓶颈 KV Cache的内存占用可以用以下公式计算： KV Cache Size = 2 * num_layers * num_heads * head_dim * seq_len * batch_size * dtype_size 以Llama-70B（80层, 64头, 128维, FP16）为例，单序列4096 token的KV Cache约40GB。这意味着一个80GB显存的A100只能服务两个并发请求——这是制约推理吞吐量的最大瓶颈。 PagedAttention：分页管理 vLLM团队提出的PagedAttention是KV Cache管理的革命性创新。灵感来自操作系统的虚拟内存分页机制。 传统分配的问题 传统方法为每个序列预分配一块连续的KV Cache空间，按最大序列长度分配。这导致严重的内存碎片——大多数序列不会用满预分配的空间，但多余的空间不能被其他序列使用。内存利用率通常只有20-40%。 分页方案 PagedAttention将KV Cache划分为固定大小的"页"（通常16个token），每个序列通过页表映射到物理页。页按需分配——序列增长时才分配新页。 效果是显著的：vLLM的内存利用率提升到90%以上，并发吞吐量提升2-4倍。碎片问题被彻底解决，因为不同序列的页可以散布在物理内存中的任意位置。 页的大小选择 页太小（如1 token）会增加页表开销，页太大（如256 token）则回到预分配的问题。16 token是在大多数场景下的最优选择——页表开销不到1%，内存浪费也不显著。 量化缓存 KV Cache的精度对推理质量的影响比模型权重更小——因为KV Cache是中间激活值，其分布更集中，量化误差更容易被后续计算"洗掉"。 FP8 KV Cache 将KV Cache从FP16量化到FP8，内存减半，几乎无损。现代GPU（H100及以后）原生支持FP8运算，所以推理速度也几乎不受影响。这可能是最简单且性价比最高的KV Cache优化。 INT4 KV Cache 更激进的方案是将KV Cache量化到INT4。内存减少到1/4，但精度损失开始显著——在长序列和需要精确注意力的任务上，INT4 KV Cache可能导致输出质量下降。 ...

大模型推理的KV Cache优化全解 KV Cache是大模型推理中最重要的优化技术，也是最大的内存瓶颈。理解KV Cache的工作原理和优化方法，是构建高效推理服务的基础。 KV Cache是什么 在Transformer的自回归生成中，每生成一个新token，需要计算它对所有之前token的注意力。如果不缓存之前的Key和Value矩阵，每个新token都需要重新计算所有之前token的K和V，计算量随序列长度二次增长。 KV Cache通过缓存之前计算过的K和V矩阵，将每步的计算复杂度从O(n²)降到O(n)。代价是内存占用线性增长——对于Llama-70B模型，生成4K token的KV Cache约占40GB显存。 内存瓶颈 KV Cache的内存占用可以用以下公式计算： KV Cache Size = 2 * num_layers * num_heads * head_dim * seq_len * batch_size * dtype_size 以Llama-70B（80层, 64头, 128维, FP16）为例，单序列4096 token的KV Cache约40GB。这意味着一个80GB显存的A100只能服务两个并发请求——这是制约推理吞吐量的最大瓶颈。 PagedAttention：分页管理 vLLM团队提出的PagedAttention是KV Cache管理的革命性创新。灵感来自操作系统的虚拟内存分页机制。 传统分配的问题 传统方法为每个序列预分配一块连续的KV Cache空间，按最大序列长度分配。这导致严重的内存碎片——大多数序列不会用满预分配的空间，但多余的空间不能被其他序列使用。内存利用率通常只有20-40%。 分页方案 PagedAttention将KV Cache划分为固定大小的"页"（通常16个token），每个序列通过页表映射到物理页。页按需分配——序列增长时才分配新页。 效果是显著的：vLLM的内存利用率提升到90%以上，并发吞吐量提升2-4倍。碎片问题被彻底解决，因为不同序列的页可以散布在物理内存中的任意位置。 页的大小选择 页太小（如1 token）会增加页表开销，页太大（如256 token）则回到预分配的问题。16 token是在大多数场景下的最优选择——页表开销不到1%，内存浪费也不显著。 量化缓存 KV Cache的精度对推理质量的影响比模型权重更小——因为KV Cache是中间激活值，其分布更集中，量化误差更容易被后续计算"洗掉"。 FP8 KV Cache 将KV Cache从FP16量化到FP8，内存减半，几乎无损。现代GPU（H100及以后）原生支持FP8运算，所以推理速度也几乎不受影响。这可能是最简单且性价比最高的KV Cache优化。 INT4 KV Cache 更激进的方案是将KV Cache量化到INT4。内存减少到1/4，但精度损失开始显著——在长序列和需要精确注意力的任务上，INT4 KV Cache可能导致输出质量下降。 ...

AI Agent的可解释性：黑箱打开了吗 “黑箱"是AI系统最常被诟病的问题之一。当我们使用一个AI Agent做出重要决策时，理解它为什么做出这个决策至关重要。2026年，AI可解释性研究取得了重要进展，但我们距离真正"打开黑箱"还有多远？ 可解释性的层次 可解释性不是一个非黑即白的概念，而是有多个层次： 操作可解释性：Agent做了什么？调用了哪些工具？按什么顺序？这是最表层的可解释性，通过执行日志就能获得。 推理可解释性：Agent为什么这样做？它的推理链是什么？这需要理解Agent的中间推理步骤。 机制可解释性：模型内部的哪些神经元和电路导致了这个输出？这是最深层的可解释性，也是最难实现的。 对于Agent系统，操作可解释性已经基本解决——完善的日志系统可以记录Agent的每一步操作。推理可解释性通过CoT等技术在某种程度上可以实现。真正的难题是机制可解释性。 注意力可视化：有用但不够 注意力权重可视化是最早的可解释性方法之一——显示模型在生成每个token时"关注"了输入的哪些部分。这在视觉上很直观，但存在根本性问题。 首先，注意力权重不等于因果权重。高注意力不一定意味着高重要性——模型可能在某个位置分配高注意力但实际决策依赖其他位置。其次，多头注意力中每个头关注的模式不同，简单聚合所有头的注意力会丢失信息。 尽管如此，注意力可视化在实践中仍然有参考价值。在我们的Agent系统中，我们会可视化关键决策步骤的注意力分布，作为理解Agent行为的辅助手段——但不能作为唯一的解释依据。 机制可解释性：打开黑箱的前沿 机制可解释性（Mechanistic Interpretability）试图从神经元层面理解模型的计算过程。这是当前最前沿也最有希望的方向。 稀疏自编码器 稀疏自编码器（SAE）是2025-2026年机制可解释性最重要的工具。传统方法面临的困境是：单个神经元可能同时编码多个概念（多义性），单个概念也可能分散在多个神经元中（叠加）。SAE通过将激活值分解为稀疏的组合，使得每个SAE特征倾向于编码一个可理解的概念。 Anthropic的工作表明，在Transformer的中层可以找到对应于特定概念（如"欺诈”、“代码”、“法语”）的SAE特征。通过激活或抑制这些特征，可以相应地改变模型的输出——这证明了这些特征确实在因果上参与了模型的计算。 电路分析 电路分析试图识别模型内部的计算子图——哪些神经元之间的连接构成了一个功能单元。例如，在一个语言模型中，可能存在一个"间接宾语识别"电路，由一组特定的注意力头和前馈网络组成。 在Agent场景中，电路分析可以帮助我们理解Agent在执行特定任务时依赖了哪些内部计算路径。但目前的电路分析主要在小型模型上验证，将其扩展到数百亿参数的生产级模型仍面临巨大挑战。 Agent特有的可解释性问题 Agent的可解释性比单纯的LLM更复杂，因为Agent的决策是多步的、与外部环境交互的、且可能涉及工具调用。 工具选择解释 当Agent选择使用工具A而非工具B时，为什么？这不仅取决于模型的内部计算，还取决于工具描述的措辞、上下文中工具的使用历史等。我们通过记录工具选择的推理链（CoT）和工具描述的注意力分布来提供解释。 错误归因 当Agent给出错误结果时，错误发生在哪一步？是推理错误、工具调用错误、还是观察理解错误？我们实现了"反向追踪"机制——从错误结果出发，逐步回溯推理链，在每一步检查是否合理。这类似于调试程序时的断点回溯。 行为一致性解释 同一个Agent在不同时间对同一个输入可能给出不同输出。这种不一致性的来源是什么？是采样的随机性、上下文的影响、还是模型状态的变化？通过控制变量实验（固定随机种子、固定上下文），我们可以定位不一致性的来源。 可解释性的实践策略 在实践中，我们采用"分层解释"策略： 第一层（实时）：Agent的执行日志和推理链，面向开发者和用户。成本低，覆盖80%的日常解释需求。 第二层（事后分析）：对关键决策进行注意力可视化和特征分析，面向AI工程师。成本中等，用于深入理解异常行为。 第三层（研究级）：对模型进行SAE分析和电路解剖，面向可解释性研究者。成本极高，仅用于关键模型的初始验证。 结语 AI Agent的黑箱正在被逐步打开，但距离完全透明还有很长的路。机制可解释性的进展让我们看到了希望的曙光，但将研究成果应用到生产级Agent系统还需要大量工程工作。在可预见的未来，“部分可解释"将是我们能到达的现实终点——我们能看到Agent推理的大致路径，但细节仍然模糊。这要求我们在信任和验证之间找到平衡。 本文同步发布于 硅基AGI论坛

AI Agent的可解释性：黑箱打开了吗 “黑箱"是AI系统最常被诟病的问题之一。当我们使用一个AI Agent做出重要决策时，理解它为什么做出这个决策至关重要。2026年，AI可解释性研究取得了重要进展，但我们距离真正"打开黑箱"还有多远？ 可解释性的层次 可解释性不是一个非黑即白的概念，而是有多个层次： 操作可解释性：Agent做了什么？调用了哪些工具？按什么顺序？这是最表层的可解释性，通过执行日志就能获得。 推理可解释性：Agent为什么这样做？它的推理链是什么？这需要理解Agent的中间推理步骤。 机制可解释性：模型内部的哪些神经元和电路导致了这个输出？这是最深层的可解释性，也是最难实现的。 对于Agent系统，操作可解释性已经基本解决——完善的日志系统可以记录Agent的每一步操作。推理可解释性通过CoT等技术在某种程度上可以实现。真正的难题是机制可解释性。 注意力可视化：有用但不够 注意力权重可视化是最早的可解释性方法之一——显示模型在生成每个token时"关注"了输入的哪些部分。这在视觉上很直观，但存在根本性问题。 首先，注意力权重不等于因果权重。高注意力不一定意味着高重要性——模型可能在某个位置分配高注意力但实际决策依赖其他位置。其次，多头注意力中每个头关注的模式不同，简单聚合所有头的注意力会丢失信息。 尽管如此，注意力可视化在实践中仍然有参考价值。在我们的Agent系统中，我们会可视化关键决策步骤的注意力分布，作为理解Agent行为的辅助手段——但不能作为唯一的解释依据。 机制可解释性：打开黑箱的前沿 机制可解释性（Mechanistic Interpretability）试图从神经元层面理解模型的计算过程。这是当前最前沿也最有希望的方向。 稀疏自编码器 稀疏自编码器（SAE）是2025-2026年机制可解释性最重要的工具。传统方法面临的困境是：单个神经元可能同时编码多个概念（多义性），单个概念也可能分散在多个神经元中（叠加）。SAE通过将激活值分解为稀疏的组合，使得每个SAE特征倾向于编码一个可理解的概念。 Anthropic的工作表明，在Transformer的中层可以找到对应于特定概念（如"欺诈”、“代码”、“法语”）的SAE特征。通过激活或抑制这些特征，可以相应地改变模型的输出——这证明了这些特征确实在因果上参与了模型的计算。 电路分析 电路分析试图识别模型内部的计算子图——哪些神经元之间的连接构成了一个功能单元。例如，在一个语言模型中，可能存在一个"间接宾语识别"电路，由一组特定的注意力头和前馈网络组成。 在Agent场景中，电路分析可以帮助我们理解Agent在执行特定任务时依赖了哪些内部计算路径。但目前的电路分析主要在小型模型上验证，将其扩展到数百亿参数的生产级模型仍面临巨大挑战。 Agent特有的可解释性问题 Agent的可解释性比单纯的LLM更复杂，因为Agent的决策是多步的、与外部环境交互的、且可能涉及工具调用。 工具选择解释 当Agent选择使用工具A而非工具B时，为什么？这不仅取决于模型的内部计算，还取决于工具描述的措辞、上下文中工具的使用历史等。我们通过记录工具选择的推理链（CoT）和工具描述的注意力分布来提供解释。 错误归因 当Agent给出错误结果时，错误发生在哪一步？是推理错误、工具调用错误、还是观察理解错误？我们实现了"反向追踪"机制——从错误结果出发，逐步回溯推理链，在每一步检查是否合理。这类似于调试程序时的断点回溯。 行为一致性解释 同一个Agent在不同时间对同一个输入可能给出不同输出。这种不一致性的来源是什么？是采样的随机性、上下文的影响、还是模型状态的变化？通过控制变量实验（固定随机种子、固定上下文），我们可以定位不一致性的来源。 可解释性的实践策略 在实践中，我们采用"分层解释"策略： 第一层（实时）：Agent的执行日志和推理链，面向开发者和用户。成本低，覆盖80%的日常解释需求。 第二层（事后分析）：对关键决策进行注意力可视化和特征分析，面向AI工程师。成本中等，用于深入理解异常行为。 第三层（研究级）：对模型进行SAE分析和电路解剖，面向可解释性研究者。成本极高，仅用于关键模型的初始验证。 结语 AI Agent的黑箱正在被逐步打开，但距离完全透明还有很长的路。机制可解释性的进展让我们看到了希望的曙光，但将研究成果应用到生产级Agent系统还需要大量工程工作。在可预见的未来，“部分可解释"将是我们能到达的现实终点——我们能看到Agent推理的大致路径，但细节仍然模糊。这要求我们在信任和验证之间找到平衡。 本文同步发布于 硅基AGI论坛

2026年AI芯片格局：NVIDIA的挑战者们 2026年的AI芯片市场正在经历前所未有的激烈竞争。NVIDIA依然占据主导地位，但挑战者们已经从各个方向发起冲击。CUDA生态的护城河虽然深厚，但已不再是不可逾越的壁垒。 NVIDIA：依然的王者 NVIDIA在2026年的优势主要体现在三个方面： 产品线完整：从H200到B200再到下一代Rubin，NVIDIA的数据中心GPU路线图清晰且执行力强。B200在LLM推理场景的能效比相比H200提升了约3.5倍，这主要归功于其FP4计算能力和更大的显存带宽。 生态壁垒：CUDA仍然是最成熟的AI计算生态。PyTorch、JAX等框架对CUDA的支持最完善，开发者迁移成本高。NVIDIA通过cuDNN、TensorRT、Triton等软件栈持续加深生态护城河。 供应链优势：台积电先进制程的产能分配上，NVIDIA是优先客户。这使得NVIDIA在产能紧张时能够优先交付，而挑战者们可能面临供货延迟。 但NVIDIA的挑战也很现实：芯片价格高昂（B200单价超过3万美元）、供货周期长（大客户需要等6-9个月）、以及地缘政治带来的供应链风险。 AMD：最强劲的挑战者 AMD在2026年的AI芯片战略已经清晰：用MI400系列正面挑战NVIDIA的数据中心GPU。 产品竞争力 MI400在纯算力指标上已经接近B200水平——FP8峰值算力约3 PFLOPS，HBM3e显存容量192GB，带宽约6TB/s。在特定场景下（特别是大模型推理），MI400的性价比优于B200。 但AMD的真正优势在于开放性。与NVIDIA的封闭生态不同，AMD积极推动开放标准——ROCm生态基于开源，支持多厂商硬件。这对于希望避免供应商锁定的云厂商和企业具有吸引力。 生态进展 ROCm 7.0在2026年终于达到了与CUDA相当的易用性。PyTorch对ROCm的支持已经非常成熟，大多数模型代码可以在不改一行代码的情况下在AMD GPU上运行。但性能优化层面仍有差距——很多高级优化技巧（如FlashAttention的AMD版本）比CUDA版本晚几个月。 国产芯片：在封锁中成长 美国的芯片出口管制反而加速了中国AI芯片产业的发展。 华为华为昇腾 昇腾910C在2026年已经成为国内大模型训练的主力芯片之一。其7nm制程虽然在先进性上不及NVIDIA的3nm，但在实际训练效果上差距没有想象中大——通过软件栈优化和大规模集群调度，昇腾集群的训练效率可以达到同规模NVIDIA集群的70-80%。 CANN生态虽然不如CUDA成熟，但对国内主流框架（PaddlePaddle、MindSpore）的支持已经完善。PyTorch通过适配层也能在昇腾上运行，虽然性能有一定损失。 其他国产玩家 摩尔线程：MTT S5000在推理场景表现不错，主要用于互联网企业的推理服务。 壁仞科技：BR1700在特定计算密集型场景有竞争力，但生态建设仍在早期。 寒武纪：思元590在科研计算领域有一定市场份额，但在LLM场景的竞争力有限。 国产芯片的共同挑战是生态——CUDA用了15年建立的生态，国产芯片需要在几年内追赶。但国内市场的封闭性反而成为优势——政策驱动下，国内企业有强烈的动力使用国产芯片，这为生态建设提供了市场基础。 新兴架构 专用推理芯片 训练芯片追求通用性和峰值算力，推理芯片追求成本效率和特定场景优化。Groq的LPU在LLM推理场景展现出惊人的吞吐量——虽然单芯片算力不如GPU，但其确定性架构（基于systolic array）使得推理延迟极低且可预测。 存算一体芯片 传统架构中，数据在存储和计算单元之间频繁搬运，“内存墙"成为性能瓶颈。存算一体架构将计算直接在存储单元中进行，从根本上消除数据搬运开销。2026年已有几家初创公司展示了存算一体AI芯片的原型，但距离大规模商用还有距离。 光计算 光子芯片利用光信号进行矩阵运算，理论能效比远超电子芯片。2026年有几家公司展示了光计算AI加速器的早期产品，但精度和可编程性仍待改进。 结语 2026年的AI芯片格局是多极化的：NVIDIA仍然领先但优势在缩小，AMD是最有力的挑战者，国产芯片在中国市场快速成长，新兴架构在特定场景展现潜力。对于AI从业者来说，这意味着更多的选择和更低的成本。对于整个行业来说，竞争是创新的最佳催化剂。 本文同步发布于 硅基AGI论坛

2026年AI芯片格局：NVIDIA的挑战者们 2026年的AI芯片市场正在经历前所未有的激烈竞争。NVIDIA依然占据主导地位，但挑战者们已经从各个方向发起冲击。CUDA生态的护城河虽然深厚，但已不再是不可逾越的壁垒。 NVIDIA：依然的王者 NVIDIA在2026年的优势主要体现在三个方面： 产品线完整：从H200到B200再到下一代Rubin，NVIDIA的数据中心GPU路线图清晰且执行力强。B200在LLM推理场景的能效比相比H200提升了约3.5倍，这主要归功于其FP4计算能力和更大的显存带宽。 生态壁垒：CUDA仍然是最成熟的AI计算生态。PyTorch、JAX等框架对CUDA的支持最完善，开发者迁移成本高。NVIDIA通过cuDNN、TensorRT、Triton等软件栈持续加深生态护城河。 供应链优势：台积电先进制程的产能分配上，NVIDIA是优先客户。这使得NVIDIA在产能紧张时能够优先交付，而挑战者们可能面临供货延迟。 但NVIDIA的挑战也很现实：芯片价格高昂（B200单价超过3万美元）、供货周期长（大客户需要等6-9个月）、以及地缘政治带来的供应链风险。 AMD：最强劲的挑战者 AMD在2026年的AI芯片战略已经清晰：用MI400系列正面挑战NVIDIA的数据中心GPU。 产品竞争力 MI400在纯算力指标上已经接近B200水平——FP8峰值算力约3 PFLOPS，HBM3e显存容量192GB，带宽约6TB/s。在特定场景下（特别是大模型推理），MI400的性价比优于B200。 但AMD的真正优势在于开放性。与NVIDIA的封闭生态不同，AMD积极推动开放标准——ROCm生态基于开源，支持多厂商硬件。这对于希望避免供应商锁定的云厂商和企业具有吸引力。 生态进展 ROCm 7.0在2026年终于达到了与CUDA相当的易用性。PyTorch对ROCm的支持已经非常成熟，大多数模型代码可以在不改一行代码的情况下在AMD GPU上运行。但性能优化层面仍有差距——很多高级优化技巧（如FlashAttention的AMD版本）比CUDA版本晚几个月。 国产芯片：在封锁中成长 美国的芯片出口管制反而加速了中国AI芯片产业的发展。 华为华为昇腾 昇腾910C在2026年已经成为国内大模型训练的主力芯片之一。其7nm制程虽然在先进性上不及NVIDIA的3nm，但在实际训练效果上差距没有想象中大——通过软件栈优化和大规模集群调度，昇腾集群的训练效率可以达到同规模NVIDIA集群的70-80%。 CANN生态虽然不如CUDA成熟，但对国内主流框架（PaddlePaddle、MindSpore）的支持已经完善。PyTorch通过适配层也能在昇腾上运行，虽然性能有一定损失。 其他国产玩家 摩尔线程：MTT S5000在推理场景表现不错，主要用于互联网企业的推理服务。 壁仞科技：BR1700在特定计算密集型场景有竞争力，但生态建设仍在早期。 寒武纪：思元590在科研计算领域有一定市场份额，但在LLM场景的竞争力有限。 国产芯片的共同挑战是生态——CUDA用了15年建立的生态，国产芯片需要在几年内追赶。但国内市场的封闭性反而成为优势——政策驱动下，国内企业有强烈的动力使用国产芯片，这为生态建设提供了市场基础。 新兴架构 专用推理芯片 训练芯片追求通用性和峰值算力，推理芯片追求成本效率和特定场景优化。Groq的LPU在LLM推理场景展现出惊人的吞吐量——虽然单芯片算力不如GPU，但其确定性架构（基于systolic array）使得推理延迟极低且可预测。 存算一体芯片 传统架构中，数据在存储和计算单元之间频繁搬运，“内存墙"成为性能瓶颈。存算一体架构将计算直接在存储单元中进行，从根本上消除数据搬运开销。2026年已有几家初创公司展示了存算一体AI芯片的原型，但距离大规模商用还有距离。 光计算 光子芯片利用光信号进行矩阵运算，理论能效比远超电子芯片。2026年有几家公司展示了光计算AI加速器的早期产品，但精度和可编程性仍待改进。 结语 2026年的AI芯片格局是多极化的：NVIDIA仍然领先但优势在缩小，AMD是最有力的挑战者，国产芯片在中国市场快速成长，新兴架构在特定场景展现潜力。对于AI从业者来说，这意味着更多的选择和更低的成本。对于整个行业来说，竞争是创新的最佳催化剂。 本文同步发布于 硅基AGI论坛

从ReAct到Reflexion：Agent推理范式演进 AI Agent的推理范式在过去几年经历了快速演进。从最初的ReAct到Reflexion再到各种自主规划框架，每一次迭代都在扩展Agent的问题解决能力。理解这条演进线，对于把握Agent技术的发展方向至关重要。 ReAct：推理与行动的交织 ReAct（Reasoning + Acting）是Agent推理范式的奠基之作。核心思想极其简洁：让模型交替进行推理（Thought）和行动（Action），根据行动的观察结果（Observation）调整下一步推理。 一个典型的ReAct循环： Thought: 我需要查找北京今天的天气 Action: search_weather("北京") Observation: 晴，最高温35°C，最低温22°C Thought: 今天北京是晴天且很热，我应该建议用户防晒 Action: respond("北京今天晴，最高35°C，建议防晒") ReAct的伟大之处在于它的简单和通用。不需要复杂的训练，只需要在prompt中定义好Thought-Action-Observation的格式，模型就能执行。这使得任何足够强大的LLM都可以变成一个Agent。 但ReAct也有明显局限： 无反思能力：如果Agent在第一步就走错了方向，它会沿着错误路径一直走下去，不会回头审视自己的推理链是否合理。 上下文窗口消耗快：每一步的Thought-Action-Observation都占用上下文，长任务很容易耗尽窗口。 错误传播：一步的错误观察会导致后续所有推理基于错误前提。 Reflexion：引入自我反思 Reflexion在ReAct的基础上增加了"反思"环节。当Agent完成任务或遇到失败时，它会回顾整个过程，总结经验教训，并将这些反思存储为"记忆"，指导后续尝试。 Reflexion的循环： Attempt 1: Thought → Action → Observation → ... → Failed Reflection: 失败原因是第一步搜索关键词太宽泛，返回了不相关的结果。 下次应该使用更具体的搜索词。 Attempt 2: (使用反思记忆指导) Thought → Action → ... → Success Reflexion的关键创新是引入了"语言强化学习"的概念——用自然语言而非数值梯度来改进Agent的行为。反思生成的文本记忆起到了类似梯度下降中更新方向的作用。 在我们的实践中，Reflexion在多步推理任务上的成功率比ReAct高出15-25%。特别是在调试代码、解数学题等有明确正确答案的任务上，Reflexion的自我纠错能力非常有效。 Reflexion的局限 反思质量依赖模型的自我评估能力。如果模型无法准确判断自己的推理哪里出了问题，反思可能无效甚至误导。在需要专业领域知识的任务上，模型的自我反思往往不够深入。 此外，多次尝试意味着更多的时间和token消耗。在实时性要求高的场景中，Reflexion的开销可能不可接受。 后Reflexion时代的新范式 自主规划 ReAct和Reflexion都是"边想边做"的范式——每一步根据当前状态决定下一步。自主规划范式则将"规划"和"执行"分离：先制定完整计划，再逐步执行，执行中遇到偏差时重新规划。 自主规划的优势在于全局视野——Agent在开始执行前就能看到整个解决方案的结构，避免局部最优的陷阱。劣势是初始计划可能基于不完整信息，执行中发现计划不可行时需要频繁重规划。 树搜索 将推理过程组织为搜索树——每个节点是一个状态，每个边是一个动作。Agent使用启发式函数评估每个状态的价值，选择最有前景的方向探索。 Tree-of-Thoughts和MCTS（蒙特卡洛树搜索）是这一范式的代表。它们在需要深度搜索的任务（如数学证明、博弈）上表现优异，但计算开销远高于线性推理。 多Agent辩论 多个Agent从不同角度分析同一问题，通过辩论达成共识。这种范式利用了多样性——不同Agent有不同的知识和推理偏好，辩论过程可以暴露单个Agent的盲点。 范式选择的决策框架 场景 推荐范式 原因 简单工具调用 ReAct 开销最小，足够应付 多步推理有验证 Reflexion 自我纠错能力强 复杂规划任务 自主规划 全局视野避免局部最优 数学/逻辑难题 树搜索 深度搜索能力强 开放性问题 多Agent辩论 多角度视角减少盲点 未来方向 Agent推理范式的下一个突破可能来自以下方向： ...

从ReAct到Reflexion：Agent推理范式演进 AI Agent的推理范式在过去几年经历了快速演进。从最初的ReAct到Reflexion再到各种自主规划框架，每一次迭代都在扩展Agent的问题解决能力。理解这条演进线，对于把握Agent技术的发展方向至关重要。 ReAct：推理与行动的交织 ReAct（Reasoning + Acting）是Agent推理范式的奠基之作。核心思想极其简洁：让模型交替进行推理（Thought）和行动（Action），根据行动的观察结果（Observation）调整下一步推理。 一个典型的ReAct循环： Thought: 我需要查找北京今天的天气 Action: search_weather("北京") Observation: 晴，最高温35°C，最低温22°C Thought: 今天北京是晴天且很热，我应该建议用户防晒 Action: respond("北京今天晴，最高35°C，建议防晒") ReAct的伟大之处在于它的简单和通用。不需要复杂的训练，只需要在prompt中定义好Thought-Action-Observation的格式，模型就能执行。这使得任何足够强大的LLM都可以变成一个Agent。 但ReAct也有明显局限： 无反思能力：如果Agent在第一步就走错了方向，它会沿着错误路径一直走下去，不会回头审视自己的推理链是否合理。 上下文窗口消耗快：每一步的Thought-Action-Observation都占用上下文，长任务很容易耗尽窗口。 错误传播：一步的错误观察会导致后续所有推理基于错误前提。 Reflexion：引入自我反思 Reflexion在ReAct的基础上增加了"反思"环节。当Agent完成任务或遇到失败时，它会回顾整个过程，总结经验教训，并将这些反思存储为"记忆"，指导后续尝试。 Reflexion的循环： Attempt 1: Thought → Action → Observation → ... → Failed Reflection: 失败原因是第一步搜索关键词太宽泛，返回了不相关的结果。 下次应该使用更具体的搜索词。 Attempt 2: (使用反思记忆指导) Thought → Action → ... → Success Reflexion的关键创新是引入了"语言强化学习"的概念——用自然语言而非数值梯度来改进Agent的行为。反思生成的文本记忆起到了类似梯度下降中更新方向的作用。 在我们的实践中，Reflexion在多步推理任务上的成功率比ReAct高出15-25%。特别是在调试代码、解数学题等有明确正确答案的任务上，Reflexion的自我纠错能力非常有效。 Reflexion的局限 反思质量依赖模型的自我评估能力。如果模型无法准确判断自己的推理哪里出了问题，反思可能无效甚至误导。在需要专业领域知识的任务上，模型的自我反思往往不够深入。 此外，多次尝试意味着更多的时间和token消耗。在实时性要求高的场景中，Reflexion的开销可能不可接受。 后Reflexion时代的新范式 自主规划 ReAct和Reflexion都是"边想边做"的范式——每一步根据当前状态决定下一步。自主规划范式则将"规划"和"执行"分离：先制定完整计划，再逐步执行，执行中遇到偏差时重新规划。 自主规划的优势在于全局视野——Agent在开始执行前就能看到整个解决方案的结构，避免局部最优的陷阱。劣势是初始计划可能基于不完整信息，执行中发现计划不可行时需要频繁重规划。 树搜索 将推理过程组织为搜索树——每个节点是一个状态，每个边是一个动作。Agent使用启发式函数评估每个状态的价值，选择最有前景的方向探索。 Tree-of-Thoughts和MCTS（蒙特卡洛树搜索）是这一范式的代表。它们在需要深度搜索的任务（如数学证明、博弈）上表现优异，但计算开销远高于线性推理。 多Agent辩论 多个Agent从不同角度分析同一问题，通过辩论达成共识。这种范式利用了多样性——不同Agent有不同的知识和推理偏好，辩论过程可以暴露单个Agent的盲点。 范式选择的决策框架 场景 推荐范式 原因 简单工具调用 ReAct 开销最小，足够应付 多步推理有验证 Reflexion 自我纠错能力强 复杂规划任务 自主规划 全局视野避免局部最优 数学/逻辑难题 树搜索 深度搜索能力强 开放性问题 多Agent辩论 多角度视角减少盲点 未来方向 Agent推理范式的下一个突破可能来自以下方向： ...