过去两年大家默认模型越大越好,但今年一个明显的转向是:很多业务开始主动用小模型,甚至把已经上线的旗舰模型降级。

为什么小模型开始回归?

第一是成本。日常任务里八成请求不需要旗舰能力,用大模型等于为用不到的能力付费。第二是延迟,小模型响应快,交互体验更顺。第三是可控性,小模型更容易微调、更容易部署在私有环境。

还有一个现实原因:当业务量上来,成本曲线会逼着你优化,而优化最快的手段就是换小模型。

哪些任务适合降级?

分类、抽取、格式转换、简单问答、意图识别,这些任务目标明确,小模型足够。客服首轮应答、工单打标、内容审核初筛,也适合。

不适合的是长链推理、复杂代码生成、需要大量世界知识的开放问答。这些任务降级后,返工成本会超过省下的调用费。

怎么判断能不能降?

做一次并行对比:同一批真实请求同时打大模型和小模型,人工只看差异样本。如果差异集中在可接受的边缘案例,就可以降;如果差异出现在关键判断上,就不能。

建议设一个降级门槛:小模型准确率不低于大模型的九成,且人工返工率不超过百分之五。两个条件同时满足才切。

混合策略该怎么落地?

不必二选一。可以让小模型处理大部分请求,置信度低时自动升级到大模型。这样既省成本,又保住质量下限。

关键在于监控升级比例。如果升级比例持续上升,说明小模型已经撑不住业务变化,该重新评估而不是继续压成本。

最后提醒一句:小模型省的是调用费,不省调优时间。提示词要重写,评测要重跑,这部分投入要提前算。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论