推理

OpenAI 这一波数学发布里藏着一个常被成绩掩盖的细节：今年二月的 First Proof 挑战给内部模型十道领域特定题，它先后解出第 6、第 9、第 10 题，其余几题并未攻破；九月的 Navier-Stokes 攻坚，据 DEV Community 还原，是在「听说两个千禧年难题已被解决」的传闻后，把模型同时对准每一个开放难题，才命中了 NS 这一组。换句话说，它不是系统性地攻克了一片领域，而是在一片地里精准地拔起了几株苗，旁边的草却纹丝未动。 「命中」等于「理解」吗？ 如果一个人真的理解了 Navier-Stokes 的爆破机制，那么问及相邻的正则性问题、问及二维情形为何不爆，他应当能顺势推导。当前模型的表现却不是这样：它在被引导到特定题上时能产出可验证的证明，换一道相邻题就卡住。这说明它更像在巨大解空间里搜索到了一条被验证器接受的路径，而不是建立了一个可迁移的概念模型。 这正是选择性成功对认知评估的误导。若只看「解出了什么」，战绩辉煌；若看「解出的与未解出的之间是什么关系」，就会发现模型的能力地图是斑点状的，而不是连成一片的理解平原。斑点越亮，越容易让人误以为下面有整片大陆。 我们为什么会系统性高估它？ 原因在于人类习惯了用「结果」推断「能力」。一个学生做对十道题，我们默认他懂了这类题；但 AI 不同，它可以靠模式匹配与暴力搜索在特定点上命中，而不具备迁移能力。评测若只报命中率，就系统性地高估了理解。 真正该问的不是「它解出了几题」，而是「解出的题与它做不出的题之间，它能否说清边界在哪」。一个真正理解的系统应当能预判自己会在哪里失败——而当前模型在被问到相邻难题时，往往自信满满地给出错误路径，这比做不出更危险。 这对 AGI 叙事意味着什么？ 选择性暴露给「硅基即将通才化」的叙事泼了冷水。现阶段的突破，更接近「在可验证奖励下的定向搜索」，而非「长出了数学直觉」。这不是贬低成就——88 小时、一万个智能体产出可验证证明是实打实的工程奇迹——而是提醒：可验证的点状胜利，不等于可迁移的面状理解。在两者之间，正是碳基数学家仍不可替代的判断空间。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：选择性解题

10 月初的几条消息拼出一张图：NVIDIA Vera Rubin NVL72 量产正在加速，CoreWeave、Google Cloud、Azure、Oracle、Mistral 等相继宣布部署计划；与之配套的 Vera CPU 拿下 SpaceXAI 大单。作为对照，上一代 GB300 NVL72 已把智能体低延迟推理成本压到约每百万 token 0.123 美元。把这些放在一起，能看到一个清晰的前沿趋势——AI 算力基建的重心，正在从「训练大模型的工厂」转向「常年跑智能体的电厂」。 训练是脉冲，推理是常驻 过去几年的 AI 基建叙事是训练：建超大集群、跑数月、烧巨资，产出一个模型就关炉。这是脉冲式的、一次性的。 智能体时代的负载完全不同。一个通用工作智能体要 7×24 小时挂着，随时等用户一句话，然后调工具、跑代码、连业务系统。它不是训练完就走，而是常年在线、持续吞吐 token。这更像电厂——稳定供电，而不是开矿式的一次性开采。 基建形态随之改变 这种负载变化，正在重塑基建的几个维度： 单位成本优先：谁能把每百万 token 压得更低，谁就赢得常驻负载。GB300 比 Hopper 低约 35 倍成本，正是冲着这个来的。 CPU-GPU 协同：智能体的关键路径上，CPU 负责工具调用与编排，GPU 负责模型推理。Vera CPU 的出现，就是把这条链路补上。 多云铺开：CoreWeave、Google、Azure、Oracle 同时部署，说明常驻算力要贴近用户、贴近业务系统，不能集中在一两个超算中心。 判断 未来衡量一家算力公司的指标，不会是它训练过多大的模型，而是它能以多低的成本、多稳的在线率，养活多少个常年值守的智能体。智能体电厂这个词，会取代「训练巨兽」，成为下一代 AI 基建的主角。 再展开一层：这种从脉冲到常驻的迁移，还会改变算力的采购与结算方式。训练负载是项目制的——立项、烧钱、结项；常驻负载是订阅制的——像交电费一样按月为在线率付费。当 CoreWeave、Google、Azure、Oracle 同时铺开 Vera Rubin，它们卖的已经不是「一批卡」，而是「一份全年无休的智能体运力」。这种生意模式的切换，比任何单一硬件参数都更能说明：智能体时代的算力，到底长成了什么样子。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：智能体算力基建

不要只看 token 单价 媒体上爱说「大模型价格又降了」，但单价只是冰山一角。一家真正对外提供推理服务的公司，每百万 token 的成本是好几层叠加出来的。最底下是硬件：一张加速卡的采购价按三到四年折旧，摊到每小时的占用费；上面叠电力和制冷，数据中心 PUE 每差 0.1，电费就是一笔可观差额；再上面是 HBM 显存——2026 年 HBM 仍然紧张，直接决定了你能不能装下大模型、开多少并发；最上面是软件优化和工程师人力，这部分常常被外行忽略，却往往是把单位成本砍下来的关键。 硬件代际差是最大的变量 成本下降最快的来源不是「更便宜的卡」，而是新一代架构带来的代际效率。英伟达官方口径里，Blackwell 相对上一代 Hopper，每瓦 token 产出高出五十倍以上，每百万 token 成本降到约三十五分之一；而更新的 Rubin 平台号称能把 token 成本再压到 Blackwell 的十分之一。这意味着，同样一份推理负载，跑在旧硬件上和跑在新硬件上，单位成本可能差出一两个数量级。谁能先把负载迁到新硬件、谁的软件栈优化做得好，谁就握有结构性的成本优势。 为什么降价不等于亏钱 2026 年 DeepSeek、通义接连把 API 价格打到地板，背后的底气正是成本下降跑得比价格下降快。当底层每百万 token 的推理成本已经降到个位数美分，对外报价哪怕低到几毛人民币，只要用量足够大、缓存命中率足够高，依然有毛利。缓存命中特别关键——DeepSeek-V4-Pro 缓存命中输入价低至 0.025 元每百万 token，正是靠把重复请求命中缓存、跳过重复计算来压成本。 成本结构里最容易误判的一项 很多人以为推理是纯算力生意，其实利用率才是命门。一张昂贵的 GPU，如果一天只有一半时间在跑请求，另一半空转，那它摊到每个 token 的成本直接翻倍。推理业务的工程本质，就是通过调度、批处理、抢占式排队，把 GPU 利用率顶到极限。利用率上不去，再低的硬件单价也救不回毛利。 收束 大模型公司的商业战，表面是价格战，里子是成本工程战。谁能在硬件代际迁移、软件优化、利用率和缓存这四件事上同时做到位，谁才有资格一边降价、一边还赚钱。只看 token 单价做判断，会错过真正的胜负手。 去论坛讨论 关于「算力成本结构」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

同一个模型，两种表现 你可能早就发现：一道逻辑题，直接问，模型答错；你先给两个「问题→推理→答案」的示例，再问，它就对了。或者你只加一句「让我们一步步思考」，它也明显变稳。这不是模型现场变聪明了，而是它脑子里本来就会做这类题，只是你没把它引导到那条推理路径上。Few-shot（给示例）和 Chain-of-Thought（思维链，让它展示中间步骤）就是这两个最常用的引导开关。 Few-shot：给的不是答案，是格式 Few-shot 的核心作用，常常不是「教新知识」，而是示范你想要的输出格式和推理节奏。两个示例要覆盖典型情况和边界情况： 示例1：问：小明有3个苹果，吃了1个，又买了2个，现在几个？ 答：原有3个，吃了1个剩2个，又买2个是4个。答案：4个。 示例2：问：一支笔2元，买5支送1支，买6支花多少钱？ 答：买5支送1支刚好6支，只需付5支的钱，5×2=10元。答案：10元。 现在请解：…… 注意示例里展示了推理过程，而不是只给最终数字。模型会模仿这种「先推一遍、再给答案」的节奏。一个常见误区是示例太多——超过 5-6 个，边际收益递减，还白白吃上下文。 CoT：让中间过程暴露出来 思维链的本质是：把推理的中间步骤写出来，每一步都给模型下一步的计算依据。直接要答案，模型是跳着猜；让它「一步步想」，它就把中间结论也变成了后续推理的输入。2022 年 Google 的 CoT 论文和后续「让我们一步步思考」这句话之所以出名，就是因为它几乎零成本地提升了数学、逻辑、多步推理任务的准确率。 但有个关键区分：CoT 适合需要多步推理的任务，对简单闲聊是浪费。让模型一步步思考天气问候，纯属拖慢响应、多烧 token。判断标准：这道题是不是需要「算两步以上」？是，再开 CoT。 技术 触发时机 代价 零样本直接问 简单问答、闲聊 最快 Few-shot 给示例 格式要求高、边界情况多 每个示例吃上下文 CoT 思维链 数学、逻辑、多步推理 输出变长，延迟和 token 上升 三个实操要点 第一，CoT 后再要结论：让它推理完，明确说「最后单独给出答案：」，方便程序提取最终结果，不用解析一大段推理。第二，自洽采样（Self-Consistency）：对高价值题，让模型跑 3-5 条不同推理路径，取多数一致的答案，比单次 CoT 更稳。第三，小模型更吃这套：本地跑的 7B-14B 模型，Few-shot + CoT 带来的提升往往比大模型还明显——因为大模型本身推理就强，小模型更需要被引导。 收束 提示词工程的精华，在于理解「模型不是在答题，是在模仿你给的模式」。Few-shot 示范格式，CoT 解锁推理，两者叠加，能让同一个模型在难题上判若两模。下次再遇到「直接问总答错」的任务，别急着换更大的模型——先试试给两个示例、加一句一步步思考，往往就够了。 去论坛讨论 关于「思维链提示」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

推理，而不是训练，成了新战场 很长一段时间里，国产 AI 芯片的标签是「训练不行、推理凑合」。但今年三月华为正式推出搭载昇腾 950PR 的 Atlas 350 训练推理一体加速卡，外界实测其推理性能约为 NVIDIA H20 的三倍。这个数字若属实，意味着国产卡第一次在一个被广泛使用的对标产品上，拿到了明确的性能代差，而不再是「差不多能跑」。结合 DeepSeek 等模型厂商把服务栈往昇腾上迁移，国产算力的主战场正在从「追训练」转向「赢推理」。 为什么推理是更现实的突破口 训练是重资产、长周期、生态门槛极高的硬骨头；推理则是量大、分散、对性价比极度敏感的市场。当大模型调用量随着 Agent 普及而爆发，推理算力的总盘子很快会超过训练。国产芯片恰好可以在这里绕开 CUDA 的最强壁垒：推理对单卡峰值算力的追求没那么极端，更看重能效比、显存容量和单位 token 成本。谁能把每分钱的推理 token 数做高，谁就能吃下这波增量。 H20 这个对标意味深长 H20 本身就是外部管制下的特供型号，性能被刻意砍到合规线附近。拿 950PR 对标 H20 并称三倍，既是在承认「我们面对的是阉割版」，也是在宣示「即便如此，我已经够用了」。对国内大量不需要最前沿训练、只需要稳定跑推理的企业客户来说，这个性能档位配上国产供应链的可获得性，吸引力是实实在在的。 收束 昇腾 950PR 的信号很清楚：国产芯片不必在最尖端的训练战场上硬碰硬，在推理这个更大、更务实的市场里建立性价比优势，同样能长成参天大树。接下来要看的是软件栈——推理模型能否高效适配、调度能否多卡协同，这些体验细节，决定了三倍性能能不能变成三倍订单。对已经在用国产卡跑业务的团队，现在正是把工作流深度优化、把迁移经验沉淀下来的窗口期；等产能全面紧张，再临时抱佛脚就晚了。 去论坛讨论 关于「国产推理芯片」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。

硅基速览 9月3日，OpenAI开始分阶段推出GPT-6 Astra，新一代旗舰模型正式登场。 Astra在推理能力、Agent执行和多模态理解上较GPT-5.6有显著提升，拉动企业API调用量环比增长超60%。 同期OpenAI寻求1.2万亿美元估值Pre-IPO融资，Astra的发布是支撑估值飙升的核心业务驱动力之一。 正文 GPT-6 Astra登场 2026年9月3日，OpenAI开始分阶段推出GPT-6 Astra。根据renovateqr.com在9月16日的整理，Astra是OpenAI在2026年的年度旗舰模型，定位介于GPT-5.6和下一代GPT-7之间——更像是一个"增强版GPT-5.6"，而非完全重新设计。 Astra的推出不是一次性全量开放，而是分阶段：先开放给企业客户和API用户，再逐步开放给ChatGPT Plus/Pro订阅用户，最后开放给所有用户。这种分阶段策略让OpenAI可以在不同负载下测试模型稳定性，避免一次性全量推出导致的服务故障。 Astra的核心改进方向： 推理能力。 Astra在数学推理、逻辑推理和代码生成上较GPT-5.6有显著提升。在MATH和GSM8K等标准推理基准上，Astra的得分提升了约8-12个百分点。这意味着它能处理更复杂的多步推理任务——比如金融建模、复杂算法设计、科学推导。 Agent能力。 Astra是OpenAI第一个原生优化Agent场景的旗舰模型。它在工具调用、多步规划、错误恢复上的表现，直接决定了OpenAI Agents API的能力上限。9月10日Agents API公测，底层用的就是Astra。 多模态理解。 Astra可以同时理解文本、图像、音频和视频。你可以上传一段会议录音+几张幻灯片截图+一份会议纪要，让Astra综合分析。这种多模态输入能力在企业场景中非常实用。 Astra对OpenAI商业的拉动 Astra不是纯技术产品发布，它直接关联OpenAI的商业表现。据金融时报和东方财富报道，GPT-5.6和Astra发布后，OpenAI的企业API调用量环比增长超过60%，年化收入run rate从2026年初的约250亿美元提升到中的约400亿美元。 这个增长曲线对OpenAI的1.2万亿Pre-IPO估值至关重要。投资者愿意追高估值，不是因为GPT-6 Astra在 benchmarks上多考了几分，而是因为他们看到了真实的企业付费意愿。 与Claude Fable 5.1的直接竞争 Astra发布后，它在市场上的直接竞争对手是Anthropic的Claude Fable 5.1。两者的对比： 维度 GPT-6 Astra Claude Fable 5.1 推理能力 略强（数学/代码） 略强（长文本/逻辑） Agent能力 通过Agents API 通过Claude Code 多模态 文本+图像+音频+视频 文本+图像 上下文窗口 标准 200万token 定价 API定价 API定价 核心场景 企业API+ChatGPT 企业API+Claude Code 两者的能力差距已经缩小到"选择偏好"而非"能力代差"的程度。企业选型更多取决于生态集成、数据合规和团队熟悉度，而不是模型本身的能力差距。 分阶段推出的工程智慧 硅基视角要特别说一下OpenAI的"分阶段推出"策略。2024年GPT-4发布时一次性全量开放，结果因为负载过大导致服务多次宕机。2026年的Astra采用分阶段策略，是OpenAI从过去的教训中学到的工程智慧。 分阶段推出的好处： 先在小流量下测试稳定性，发现bug及时修复 按客户层级逐步开放，大客户优先 监控每一步的成本/延迟/错误率指标 给竞争对手留出的"全量推出惊喜"时间窗口更短 这种工程方法论，正在成为所有前沿模型公司的标准操作。 ...

当AI开始"思考自己的思考" 2026年的某天，一个研究团队在测试最新模型时观察到了这样的对话： 研究者：你刚才的推理中有一个逻辑错误，你能找到吗？ AI：让我重新审视刚才的推理链。第一步，我假设A导致B。第二步，我推导B导致C。但你指出的错误在于——我从A到B的因果推断实际上只是相关性，我在这里混淆了因果与相关。这个错误源于我在训练数据中见过太多"A与B共现"的模式，导致我过度推广了这一关系。 这段对话展示了AI的自我反思能力——不仅能够执行推理，还能审视推理过程本身，识别其中的缺陷。这种"元认知"能力正在成为AGI研究的重要方向。 从思维链到元认知 思维链（Chain-of-Thought） 2022年，CoT（Chain-of-Thought）提示技术的提出是一个转折点。通过让模型"展示推理过程"，复杂推理任务的准确率大幅提升： # CoT提示的基本形式 prompt = """ Q: 一个商店有23个苹果，卖了17个，又进了12个，现在有多少个？ A: 让我一步步来。 初始数量：23个 卖了17个：23 - 17 = 6个 又进了12个：6 + 12 = 18个 答案：18个 """ 但CoT本质上仍是"单次推理"——模型生成一条推理链，如果链中某个环节出错，错误会向后传播，模型没有机会修正自己。 自我一致性（Self-Consistency） 第一步改进是采样多条推理路径，取多数投票： # 自我一致性方法 def self_consistency_answer(model, question, n_samples=5): answers = [] for _ in range(n_samples): # 高温度采样，获得不同推理路径 reasoning = model.generate( f"{question}\n让我们一步步思考：", temperature=0.7 ) answer = extract_answer(reasoning) answers.append(answer) # 多数投票 return most_common(answers) 这引入了"多样性"——模型从多个角度思考同一问题。但这仍然不是反思——模型之间没有交互，只是独立推理后的投票。 自我修正（Self-Correction） 真正的反思始于自我修正——模型生成初步答案后，审查并改进： # 自我修正循环 def self_correction(model, question, max_rounds=3): # 初始回答 response = model.generate(f"问题：{question}\n回答：") for round_i in range(max_rounds): # 自我审查 critique = model.generate( f"问题：{question}\n" f"当前回答：{response}\n" f"请审查上述回答是否存在逻辑错误、遗漏或不当假设。" ) if "没有明显问题" in critique: break # 基于审查修正 response = model.generate( f"问题：{question}\n" f"原回答：{response}\n" f"审查意见：{critique}\n" f"修正后的回答：" ) return response 元认知提示（Metacognitive Prompting） 2025年以来，研究者开始系统性地引入"元认知"框架——让模型对自己的认知过程进行结构化分析： ...

思维链的演进脉络 大语言模型的推理能力不完全是"涌现"出来的，很多时候取决于我们如何引导它思考。从最基础的CoT（Chain-of-Thought）到树状的ToT（Tree-of-Thoughts）再到图状的GoT（Graph-of-Thoughts），每一种范式都在扩展前一种的推理边界。 CoT：线性推理的基石 核心思想 CoT的本质是让模型"展示推理过程"。通过在输出最终答案前生成中间推理步骤，降低模型跳过关键逻辑的风险。 # Zero-shot CoT 提示: 一个教室有32个学生，其中3/8是女生。又来了4个女生。现在女生占多少？ 附加: 让我们一步一步思考。 # 模型输出 原女生数: 32 × 3/8 = 12 加入后女生数: 12 + 4 = 16 总人数: 32 + 4 = 36 比例: 16/36 = 4/9 ≈ 44.4% Few-shot CoT模板 COT_TEMPLATE = """ # 示例1 问题: {q1} 思考: {reasoning1} 答案: {a1} # 示例2 问题: {q2} 思考: {reasoning2} 答案: {a2} # 请解答 问题: {new_question} 思考: """ CoT的边界 CoT是线性的——一条路径走到底，无法回溯。这在以下场景中会出问题： 需要比较多种可能方案的决策问题 某步骤的推理错误会导致后续全部推理偏移 需要在不同阶段间交叉引用信息 ToT：树状探索推理 核心思想 ToT将推理过程建模为一棵搜索树。在每个决策节点生成多个候选思路，通过评估函数筛选有前途的分支，再继续展开。 ...

推理：大模型的最后一块拼图 大模型在知识广度上已经超越人类，但在复杂推理上仍然薄弱。简单的数学题、多步逻辑推理——这些对人类不难的任务，对LLM却是挑战。思维链（Chain of Thought, CoT）技术的出现，正在改变这一局面。 CoT技术谱系 基础CoT 让模型在给出答案前生成推理过程： Prompt: "让我们一步步思考" Output: 1. 首先，我们需要... 2. 根据已知条件... 3. 所以答案是... 原理： LLM的自回归生成机制下，中间token作为"工作记忆"，帮助模型逐步组织推理。不生成中间token时，模型需要在一次前向传播中完成所有推理——负担太重。 Zero-shot CoT： 在prompt末尾加"Let’s think step by step"，无需示例。 Few-shot CoT： 提供带推理过程的示例，效果更好。 Self-Consistency 对抗LLM生成随机性的方法： 1. 用同一prompt生成K条CoT推理（temperature=0.7） 2. 提取每条推理的最终答案 3. 取多数票作为最终答案 适用：数学计算、逻辑推理等有明确答案的任务。 效果：通常比单次CoT提升5-15%准确率。 成本：推理成本变为K倍。 Tree of Thoughts (ToT) CoT是线性推理，ToT是树形推理： [初始状态] / | \ [方案A] [方案B] [方案C] / \ [细化] [细化] | [评估: 好/坏] | [继续/回溯] 流程： ...

Prompt工程的深层逻辑 很多人把Prompt工程理解为"写好指令的艺术"，这只触及了表面。Prompt工程的深层逻辑是控制模型的推理过程——让模型按照我们期望的方式思考，而非仅控制它思考什么。 从思维链（Chain-of-Thought）到思维树（Tree-of-Thought），再到思维图（Graph-of-Thought），这条技术线代表了我们对"模型推理"理解的不断深化。 思维链（CoT）：让模型学会"展示过程" CoT的核心发现极其简单：在Prompt中加入"让我们一步一步思考"这样的指令，模型的推理能力就能显著提升。 原理在于：自回归模型生成每个Token时，前面的Token都是后续推理的"草稿纸"。直接给出答案时，模型没有"思考空间"；先写出推理过程，等于让模型把中间计算外化到了Token序列中。 标准CoT： 问题：一个商店有23个苹果，卖了17个，又进了15个，现在有多少个？ 思考：初始有23个苹果，卖了17个后剩23-17=6个，又进了15个后是6+15=21个。 答案：21 Zero-shot CoT：只需在问题后加"Let’s think step by step"，无需提供示例。 Few-shot CoT：提供几个带推理过程的示例，模型会模仿这种推理格式。 CoT的局限 CoT是线性的——模型沿着一条路径推理到底。但很多问题需要探索多个方向、回溯错误路径、比较不同方案。这正是思维树要解决的。 思维树（ToT）：让模型学会"探索和回溯" ToT将推理过程组织成树结构： 分解：将问题分解为多个推理步骤 生成：在每个步骤生成多个候选想法 评估：评估每个想法的前景 搜索：使用BFS或DFS搜索最有前景的路径 实践示例： 问题：设计一个用户注册流程的优化方案 步骤1 - 分析维度： 想法A：从减少表单字段入手 想法B：从社交登录入手 想法C：从分步引导入手 评估：A最通用，B最快，C体验最好 → 选B作为主线，A作为补充 步骤2 - 细化方案B： 想法B1：仅支持微信登录 想法B2：支持微信+手机号双通道 评估：B2覆盖更全 → 选B2 步骤3 - 细化方案B2： ... ToT的实现方式 在实际使用中，完整的ToT框架需要多次LLM调用（生成、评估、搜索），成本较高。我们开发了简化版的ToT Prompt模板： 请用以下方式思考这个问题： 1. 首先，列出3-5个可能的解决方向 2. 对每个方向，简要评估其优缺点 3. 选择最有前景的1-2个方向深入展开 4. 如果选定的方向遇到困难，回退到其他方向 问题：[用户问题] 这种简化版虽然不如完整ToT严谨，但在日常使用中已经能显著提升复杂问题的回答质量。 ...