百度在 11 月 12 日发布了天池 1024 卡超节点,训练性能比上一代提升 2.5 倍,推理提升 3 倍,卡间互联带宽提升 3 倍,能支撑 5 万亿参数模型训练,明年上市。

对普通读者这是一条硬件新闻,对小团队来说这是一个信号:算力的供给结构正在变化。

1024 卡超节点是什么概念?

传统集群是把很多台机器用网络连起来,卡与卡之间要经过多层交换。超节点是把 1024 张卡放进一个高带宽域内,卡间通信不再走普通网络,而是走专用互联。

这解决的是大模型训练最痛的通信瓶颈。参数越大,梯度同步越频繁,网络延迟越致命。超节点把这个延迟压下去,训练效率才能提上来。

为什么这对小团队重要?

因为算力价格会被打下来。当头部厂商的 training 成本下降,他们会把释放出来的算力投向推理,推理单价随之下探。

Gemini 4 Carbon 把 API 价格打到每百万输入两美元,背后就是算力成本在降。天池这类超节点上市后,国产模型的价格还有下探空间。

对小团队来说,这意味着过去算不过账的场景会变得可行:全量质检、全量翻译、全量摘要。

小团队该不该自建算力?

一般不该。1024 卡级别的投入是千万级,小团队用不上也养不起。自建只有在三种情况下划算:数据不能出境、延迟要求极高、调用量稳定到能摊薄成本。

其余情况一律用云。云的好处是弹性,坏处是单价高;自建的好处是单价低,坏处是闲置。小团队的调用量波动大,闲置成本会吃掉优势。

那该关注什么?

关注推理单价,不关注训练参数。训练是厂商的事,推理是你的成本。厂商发布超节点,你只需要盯一件事:它的推理报价什么时候降。

关注算力区位,不关注峰值性能。数据出境合规要求越来越严,算力在哪里,决定了你的业务能不能接某些客户。

关注供给集中度,不关注单家优惠。供给越集中,议价能力越弱。多留一条备用通道,比拿一家的折扣更值钱。

5 万亿参数意味着什么?

意味着单模型的能力上限还在抬。但对你没用,因为你不会训这么大的模型,也用不起。

真正有用的是「大模型蒸馏出的小模型」会变强。大模型当老师,小模型当学生,学生越来越接近老师,而成本只有老师的十分之一。这才是小团队能吃到红利的地方。

明年上市,现在该做什么?

三件事。第一,把现在的调用成本结构记下来,作为基准。第二,把可以延迟的任务列出来,等降价后再批量跑。第三,把模型适配层写好,降价后能立刻切换。

第三件最重要。很多人看到降价,却因为代码写死了某家 SDK,切换要两周,窗口就过去了。

算力会不会变成新的垄断?

会,但不会像石油那样彻底。因为算力的物理分布可以扩张,芯片产能也在增长,不像油田那样受地质限制。

真正的垄断风险在软件层:模型、框架、工具链的锁定。这一层比硬件更难打破。

天池超节点是一条硬件新闻,但它提醒的事很清楚:算力的价格曲线在往下走,谁先把成本结构建在「会降价」的假设上,谁就能吃到这波红利。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论