多模型路由,是当前降本空间最大的手段之一。但空间有多大,取决于你的任务分布。
不是所有业务都能靠路由省钱。
路由能省多少?
三个区间。第一,任务同质化高:省三到五成。第二,任务分层明显:省四到六成。第三,任务都很复杂:省不到两成。
第二个最常见。多数业务是「大量简单任务加少量复杂任务」。
为什么分层明显的最省?
因为简单任务占量的比例高,但成本占比低。
把简单任务切给便宜模型,量大的部分成本直接降下来。
路由该按什么分?
三个维度。第一,任务类型:分类、抽取、生成、推理。第二,难度:一步还是要多步。第三,质量要求:能容错还是不能。
第二个最关键。多步任务的失败成本高,不适合用弱模型。
该怎么判断难度?
三个信号。第一,需不需要多轮:一轮能答的就是简单。第二,需不需要工具:要调外部系统的偏难。第三,输出长度:长的通常更难。
第一个最快。一轮能答,基本可以用便宜模型。
路由该怎么实现?
三步。第一,分类器:先判断任务类型。第二,路由表:每类对应一个模型。第三,兜底:效果不达标就升级。
第三步最关键。没有兜底,弱模型会拖垮体验。
兜底该怎么设计?
三个机制。第一,置信度:低于阈值就升级。第二,校验:输出格式不对就重跑。第三,人工:连续失败转人工。
第一个最常用。让模型自评置信度,比事后发现好。
常见的路由误区有哪些?
四个。第一,只按价格路由:便宜但效果差,返工更多。第二,不设兜底。第三,不做评测:不知道弱模型行不行。第四,路由逻辑写死在代码里。
第三个最普遍。没评测就切,等于赌。
该怎么评测每个模型?
三步。第一,每类任务取一批样本。第二,两个模型都跑。第三,比较:成功率、成本、人工修改量。
第三项最关键。改得多,省的钱就还回去了。
路由的维护成本有多大?
三个来源。第一,模型升级:能力变了,路由要重调。第二,任务漂移:业务变了,分布变了。第三,监控:要持续看效果。
第二个最容易被忽略。业务一变,路由表就失效。
最后该记住什么?
多模型路由的降本空间,取决于「你有多少任务是简单任务」。
分层清楚,才省得下来。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论