北京时间 11 月 10 日凌晨,Meta 发布其最小模型 Muse Ember,官方称以约三分之一成本比肩 Claude Haiku 5.5,即日上线 Meta Model API 与 Muse Code。对做智能体服务的小团队,这条消息最实际的用法不是换模型,而是做路由:把便宜的模型放在高频轻任务上,把贵的模型留在关键判断上。
智能体为什么一定要做模型路由?
因为智能体的成本结构极不均匀。一次完整任务里,八成调用是分类、抽取、格式整理、路由判断这类轻活,两成才是写作、推理、方案设计这类重活。如果所有调用都走同一个大模型,等于用卡车送快递。路由的本质是按任务难度分配算力,把成本压到该压的地方。
Muse Ember 这类轻量模型出现的意义就在这里:它不是替代旗舰模型,而是把轻活的单价打到原来的三分之一。你的智能体还是那个智能体,账单结构变了。
三分之一成本能变成多少毛利?
假设一个智能体月跑十万次调用,原来每次平均成本一分钱,月成本一千元。引入路由后,八万次轻活降到每次零点三三分,两万次重活不变,月成本约八百六十六元,降幅约一成三。看起来不多,但如果你的交付是订阅制,这一成三直接进毛利。
真正放大收益的是并发能力:轻活走小模型,响应更快,单机吞吐上升,同样的服务器能服务更多客户。对按量计费的产品,这比省下的钱更值钱。
路由会不会牺牲质量?
会,如果没有评测。路由最容易犯的错是按感觉分配任务,结果把需要细致判断的活派给小模型,客户一投诉,省下的钱全赔进去。正确做法是建一张任务难度表:每类任务标注可接受的最低模型档位,用小样本做 A/B,对比通过率和返工率,再固化规则。
还要设兜底:小模型输出置信度低、格式不合规、或触发敏感词时,自动升级到大模型重跑。路由不是省钱工具,是质量与成本的平衡器。
小团队怎么落地第一版路由?
第一步,把现有调用按任务类型打标,统计每类的调用量和平均 token。第二步,选三类高频轻活做灰度,通常从分类、抽取、摘要开始。第三步,建一张对照表,记录每类任务在小模型上的通过率与人工返工时间。第四步,设定升级阈值,写进代码而不是写在文档里。
一周就能跑出第一版数据。别追求完美路由,先把最贵的那部分调用找出来,通常两三个任务类型就能覆盖大部分成本。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论