算力成本正在分叉。一条路走通用 GPU,什么都能干,什么都要付溢价;另一条路走专用芯片,只干一件事,但单件事便宜得多。选哪条,取决于你在产业链的哪个位置。

通用 GPU 的优势还剩多少?

剩下三样。第一是灵活性,新模型、新算子、新精度,通用卡跟得上,专用卡要重新设计。第二是生态,框架、库、工具链都围着它建,迁移成本低。第三是可得性,云上随时租,不用等产能。

这三样在研发阶段价值极高。因为研发的本质是试错,试错需要能快速改变。

专用芯片的优势在哪?

在单位成本。把矩阵乘、注意力、激活这些固定算子做进硬件,省掉指令调度和数据搬运的开销,同样功耗下吞吐高出一截。当模型结构稳定、调用量大,这个优势就变成真金白银。

Cerebras 的三季报提供了一个侧面证据:营收同比增长七成,扭亏为盈,还拿下大客户订单。这说明专用路线已经跨过能不能用的门槛,进入算不算账的阶段。

分层的边界在哪?

一条实用的判断线是模型是否定型。如果模型结构还在频繁变,用通用卡;如果结构稳定、只是权重更新,用专用卡。

第二是调用量。调用量小,专用卡的固定成本摊不开;调用量大,单位成本的优势才显现。

第三是团队能力。专用卡往往需要专门的编译和调优,团队没有这个能力,买了也用不好。

对中小团队的现实建议?

第一,别自己买卡。这个阶段的算力应该租,把资本支出变成运营支出。第二,按任务分层选型。重推理、结构固定的任务走便宜通道,实验性任务走通用通道。第三,把成本做成可观测指标,每次调用花了多少、每个任务花了多少,不清楚就谈不上优化。

算力分叉的本质,是让不同阶段的工作付不同的价钱。用通用卡做成熟推理,是浪费;用专用卡做前沿探索,是自缚。分清楚自己在哪个阶段,比追哪个硬件更重要。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论