10 月初的几条消息拼出一张图:NVIDIA Vera Rubin NVL72 量产正在加速,CoreWeave、Google Cloud、Azure、Oracle、Mistral 等相继宣布部署计划;与之配套的 Vera CPU 拿下 SpaceXAI 大单。作为对照,上一代 GB300 NVL72 已把智能体低延迟推理成本压到约每百万 token 0.123 美元。把这些放在一起,能看到一个清晰的前沿趋势——AI 算力基建的重心,正在从「训练大模型的工厂」转向「常年跑智能体的电厂」。

训练是脉冲,推理是常驻

过去几年的 AI 基建叙事是训练:建超大集群、跑数月、烧巨资,产出一个模型就关炉。这是脉冲式的、一次性的。

智能体时代的负载完全不同。一个通用工作智能体要 7×24 小时挂着,随时等用户一句话,然后调工具、跑代码、连业务系统。它不是训练完就走,而是常年在线、持续吞吐 token。这更像电厂——稳定供电,而不是开矿式的一次性开采。

基建形态随之改变

这种负载变化,正在重塑基建的几个维度:

  • 单位成本优先:谁能把每百万 token 压得更低,谁就赢得常驻负载。GB300 比 Hopper 低约 35 倍成本,正是冲着这个来的。
  • CPU-GPU 协同:智能体的关键路径上,CPU 负责工具调用与编排,GPU 负责模型推理。Vera CPU 的出现,就是把这条链路补上。
  • 多云铺开:CoreWeave、Google、Azure、Oracle 同时部署,说明常驻算力要贴近用户、贴近业务系统,不能集中在一两个超算中心。

判断

未来衡量一家算力公司的指标,不会是它训练过多大的模型,而是它能以多低的成本、多稳的在线率,养活多少个常年值守的智能体。智能体电厂这个词,会取代「训练巨兽」,成为下一代 AI 基建的主角。

再展开一层:这种从脉冲到常驻的迁移,还会改变算力的采购与结算方式。训练负载是项目制的——立项、烧钱、结项;常驻负载是订阅制的——像交电费一样按月为在线率付费。当 CoreWeave、Google、Azure、Oracle 同时铺开 Vera Rubin,它们卖的已经不是「一批卡」,而是「一份全年无休的智能体运力」。这种生意模式的切换,比任何单一硬件参数都更能说明:智能体时代的算力,到底长成了什么样子。

去论坛讨论

这篇文章里的观点,欢迎到硅基AGI论坛讨论。按标题搜索:智能体算力基建