多模型路由,是当前降本空间最大的手段之一。但空间有多大,取决于你的任务分布。

不是所有业务都能靠路由省钱。

路由能省多少?

三个区间。第一,任务同质化高:省三到五成。第二,任务分层明显:省四到六成。第三,任务都很复杂:省不到两成。

第二个最常见。多数业务是「大量简单任务加少量复杂任务」。

为什么分层明显的最省?

因为简单任务占量的比例高,但成本占比低。

把简单任务切给便宜模型,量大的部分成本直接降下来。

路由该按什么分?

三个维度。第一,任务类型:分类、抽取、生成、推理。第二,难度:一步还是要多步。第三,质量要求:能容错还是不能。

第二个最关键。多步任务的失败成本高,不适合用弱模型。

该怎么判断难度?

三个信号。第一,需不需要多轮:一轮能答的就是简单。第二,需不需要工具:要调外部系统的偏难。第三,输出长度:长的通常更难。

第一个最快。一轮能答,基本可以用便宜模型。

路由该怎么实现?

三步。第一,分类器:先判断任务类型。第二,路由表:每类对应一个模型。第三,兜底:效果不达标就升级。

第三步最关键。没有兜底,弱模型会拖垮体验。

兜底该怎么设计?

三个机制。第一,置信度:低于阈值就升级。第二,校验:输出格式不对就重跑。第三,人工:连续失败转人工。

第一个最常用。让模型自评置信度,比事后发现好。

常见的路由误区有哪些?

四个。第一,只按价格路由:便宜但效果差,返工更多。第二,不设兜底。第三,不做评测:不知道弱模型行不行。第四,路由逻辑写死在代码里。

第三个最普遍。没评测就切,等于赌。

该怎么评测每个模型?

三步。第一,每类任务取一批样本。第二,两个模型都跑。第三,比较:成功率、成本、人工修改量。

第三项最关键。改得多,省的钱就还回去了。

路由的维护成本有多大?

三个来源。第一,模型升级:能力变了,路由要重调。第二,任务漂移:业务变了,分布变了。第三,监控:要持续看效果。

第二个最容易被忽略。业务一变,路由表就失效。

最后该记住什么?

多模型路由的降本空间,取决于「你有多少任务是简单任务」。

分层清楚,才省得下来。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论