据多家科技媒体十月初报道，Prime Intellect 正式推出 Prime Inference，一个专门服务开源前沿模型的推理平台。在公开发布之前，这个平台内部每天处理接近一万亿 token——流量来自 RL 训练 rollout、合成数据生成、模型评估和长期运行的编码 Agent。

平台提供两种模式：serverless 端点应对波动流量，按 token 计费；预留容量适合有稳定负载的生产场景，按月承诺。两种模式都跑在 Prime 自己跨多个数据中心的 GPU 集群上，接口兼容 OpenAI SDK。首发支持 GLM-5.3 等开源权重模型。

对开源模型开发者来说，Prime Inference 的价值在于：你不用自己买 GPU、搭 vLLM、调并发——注册就能拿到一个 OpenAI 兼容端点，先跑 serverless 验证需求，流量起来了再切预留容量降本。适合做产品原型和早期用户验证阶段。

Prime Inference 的出现，让开源模型的部署门槛又降低了一截。以前你要用 GLM 或者 Llama 系列模型做产品，要么自己租 GPU 搭 vLLM，要么找 Together 或 Fireworks 这样的托管平台。现在多了一个选择，而且背后是分布式 GPU 网络的成本结构，理论上价格可以更低。

对于初创团队来说，serverless 模式特别友好。你不需要预测未来一个月的流量，也不需要为了预留容量签长期合同。有请求就付费，没请求就不花钱。这种弹性对于产品验证阶段的现金流管理非常重要。

它跟 Together、Fireworks 这些推理平台有什么不同？

跟 Together AI 和 Fireworks 相比，Prime Inference 的差异化在于它背靠 Prime Intellect 的分布式 GPU 网络——这个网络原本是为去中心化 AI 训练设计的，现在把闲置算力开放做推理服务。理论上成本可以比传统云厂商更低。

serverless 和预留容量怎么选？

选型建议：如果你的应用流量波动大、不确定峰值在哪，先用 serverless。等运行一个月有了稳定流量基线，再切预留容量拿折扣。不要一开始就签长期预留合约——开源模型更新很快，你可能下个月就想换模型了。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论