Meta 在十一月发布最小模型 Muse Ember,主打低成本,宣称约三分之一成本可达到与 Claude Haiku 5.5 接近的效果,并当日上线 Meta Model API 与 Muse Code。这类「小模型」的价值,不在于能力上限,而在于把大量任务从「用不起」变成「随便用」。
小模型适合接哪些任务?
四类:分类与打标、抽取与结构化、初稿与改写、批量问答。四类任务的共同点是「容错空间大、可人工兜底」。
不适合的是需要长链推理、需要精确计算、需要严格合规判断的任务。
成本降三分之二,该怎么用?
三个用法:原来靠规则硬扛的任务改用模型、原来抽样处理的数据改成全量、原来不敢做的实验放开做。
第二个用法收益最明显。抽样转全量,往往能发现之前看不到的长尾问题。
小模型和大模型怎么配?
分层路由:简单任务走小模型,复杂任务走大模型,判断不了的任务走高准确率模型加人工。
路由规则要可调。上线后按实际数据调阈值,不要一开始就写死。
效果怎么验证?
三步:建一个两百条左右的评测集,覆盖典型和边界;同任务跑两个模型,比对准确率与人工修改量;算单位任务成本,不只算单价。
单位任务成本才是决策依据。单价低但重试多,总成本可能更高。
什么时候不该换小模型?
三种:任务错误代价高、输出要对外发布、现有方案已经稳定且成本可接受。
第三种最容易被忽略。为了省一点钱去换一个稳定方案,往往得不偿失。
小模型的错误率怎么控制?
三个手段:提高提示词的约束(给格式、给示例)、加一层规则校验、把高风险的输出转给大模型复核。
第三个手段成本可控,因为只有少数任务会触发。全量走大模型复核,等于没用小模型的成本优势。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论