过去几年,算力争夺的焦点是买到卡。今年出现了一个明显变化:专用推理芯片的租用服务开始成规模,客户不再买硬件,而是按推理量付费。
这个转变不是偶然,是成本和风险结构变化的结果。
专用芯片的性价比来自哪里?
来自去掉了不需要的部分。通用GPU要兼顾训练和推理,芯片上保留了高精度计算单元、大容量缓存、复杂的调度逻辑。推理只需要低精度矩阵乘和显存带宽,其他部分是浪费。
专用芯片把这些砍掉,同样功耗下能跑更多请求。代价是只能做推理,不能训练,灵活性差。
为什么租比买更划算?
三个原因。第一,推理需求波动大,白天高峰夜里低谷,买了卡夜里闲置。租用按量计费,闲置不花钱。第二,专用芯片迭代快,两年一代,买了很快落后。租用可以跟着换代。第三,部署门槛高,需要专门的编译工具链和调度系统,小团队自己搞不定。
这三点叠加,让租用从可选项变成了默认项。
租费模型有哪几种?
三种主流。按词元计费,最直观,适合调用量稳定的场景。按卡时计费,适合自己控制批处理的自研团队。按并发数计费,适合在线服务,按峰值预留容量。
三种各有陷阱。按词元计费的陷阱是长输出,输出词元多账单涨得快。按卡时的陷阱是利用率,批处理排不满就浪费。按并发的陷阱是峰值定义,预留太高成本高,太低会限流。
客户该注意什么?
先测真实吞吐。厂商标称的吞吐是理想批处理下的数字,实际业务有长短不一的请求,吞吐会打折。用自己的真实请求压一遍,才知道实际单位成本。
再确认迁移成本。专用芯片的编译工具链通常不兼容通用框架,模型要重新编译,自定义算子要重写。这部分成本算进去,租用的优势可能缩小。
这个趋势会持续吗?
会。推理需求的总量在快速增长,而推理对通用性的要求远低于训练。专用化是必然方向。
但不会一边倒。需要频繁换模型、需要跑实验的团队仍然会留通用GPU。市场会分成两块:稳定的大规模推理走专用,灵活的研发走通用。
对使用者来说,重要的不是追哪家的芯片,是把自己的推理需求量化清楚。量化清楚了,租还是买、用哪家,答案自然出来。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论