开源旗舰的参数规模已经推到万亿量级。下载是免费的,跑起来不是。这个落差正在成为开源生态最现实的门槛。
一个两点四万亿参数的模型,即便用四比特量化,权重也要一两个TB的显存。单机八卡跑不动,多机互联的通信开销又会拖慢推理。算下来,个人开发者和中小团队基本被排除在外。
免费下载为什么不等于免费使用?
因为权重只是原料,推理是加工。加工需要三样东西:显存、带宽、电力。这三样都要钱,而且随参数规模超线性增长。
还有一层是工程成本。分布式推理要做张量并行、流水并行、专家并行,配置复杂,调优周期长。这部分人力成本往往超过硬件租金。
谁来扛这个成本?
三类玩家。云厂商扛,因为可以把推理切成按次计费的服务,用规模摊薄。大企业扛,因为内部有稳定的调用量,摊到每次任务上可以接受。研究机构扛,因为目标不是商用,是验证和发表。
中小团队通常不扛,改用蒸馏版、量化版或者直接调用API。这个选择是理性的,但也意味着开源旗舰的实际使用者集中在少数手里。
这对开源生态意味着什么?
意味开源的价值重心在转移。从提供最大最强的权重,转向提供可用的中等模型加完整的训练配方。后者对社区更有价值,因为可以复现、可以改、可以部署。
已经能看到这个趋势:一些厂商同时发布旗舰和轻量两个版本,轻量版才是真正被广泛使用的那个。旗舰的作用是证明能力上限,轻量版的作用是让人用得上。
中小团队该怎么选?
先算自己的调用量。每天几百次调用,用API最划算,不用碰硬件。每天几万次,租用云上推理比自建便宜。每天几十万次且数据敏感,才值得考虑自建。
再看任务类型。如果任务是固定的、窄领域的,小模型微调往往比大模型提示更有效,成本低一个数量级。
参数竞赛会停吗?
不会停,但会分层。顶端的参数竞赛是品牌和技术储备,中端是真正的商用战场,底端是端侧和嵌入式。三层各有各的评价标准,不该用同一把尺子量。
对使用者来说,重要的不是追最新的最大模型,是找到自己任务上性价比最高的那一档。这个判断只能自己算,没有通用答案。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论