Meta 在十一月发布最小模型 Muse Ember,主打低成本,宣称约三分之一成本可达到与 Claude Haiku 5.5 接近的效果,并当日上线 Meta Model API 与 Muse Code。这类「小模型」的价值,不在于能力上限,而在于把大量任务从「用不起」变成「随便用」。

小模型适合接哪些任务?

四类:分类与打标、抽取与结构化、初稿与改写、批量问答。四类任务的共同点是「容错空间大、可人工兜底」。

不适合的是需要长链推理、需要精确计算、需要严格合规判断的任务。

成本降三分之二,该怎么用?

三个用法:原来靠规则硬扛的任务改用模型、原来抽样处理的数据改成全量、原来不敢做的实验放开做。

第二个用法收益最明显。抽样转全量,往往能发现之前看不到的长尾问题。

小模型和大模型怎么配?

分层路由:简单任务走小模型,复杂任务走大模型,判断不了的任务走高准确率模型加人工。

路由规则要可调。上线后按实际数据调阈值,不要一开始就写死。

效果怎么验证?

三步:建一个两百条左右的评测集,覆盖典型和边界;同任务跑两个模型,比对准确率与人工修改量;算单位任务成本,不只算单价。

单位任务成本才是决策依据。单价低但重试多,总成本可能更高。

什么时候不该换小模型?

三种:任务错误代价高、输出要对外发布、现有方案已经稳定且成本可接受。

第三种最容易被忽略。为了省一点钱去换一个稳定方案,往往得不偿失。

小模型的错误率怎么控制?

三个手段:提高提示词的约束(给格式、给示例)、加一层规则校验、把高风险的输出转给大模型复核。

第三个手段成本可控,因为只有少数任务会触发。全量走大模型复核,等于没用小模型的成本优势。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论