上线前的评测做得再细,也只是在模拟环境里。真正的模型表现要在生产流量里看,而生产环境需要的是可观测指标,不是跑分。

生产环境该看哪三个指标?

第一个是任务完成率。不是回答是否流畅,而是用户的问题是否被真正解决。可以用后续行为判断:有没有追问、有没有转人工、有没有重复提交。

第二个是返工率。人工修改的比例,最能反映模型的实际可用性。返工率高说明模型输出看着像样但不能用。

第三个是成本偏离度。实际单次成本与预算的偏差。偏差持续扩大,通常是重试变多或上下文变长。

为什么这三个比准确率更有用?

因为准确率需要标注,生产环境没人为每条回答打分。而完成率、返工率、成本都能从系统日志里自动算出来,不需要人工介入。

它们还能反映用户体验,而不只是模型能力。一个准确率很高但总让用户等三十秒的模型,商业上也是失败的。

怎么落地采集?

在调用层记录五件事:模型版本、输入长度、输出长度、耗时、是否重试。在业务层记录两件事:用户是否继续追问、是否转人工。

两组数据按会话 ID 关联,就能算出真实的完成率和返工率。不需要复杂的埋点,关键是 ID 要打通。

每周做一次分模型版本对比。换了模型之后指标变差,要能立刻定位并回滚。

什么情况下该下线一个模型?

不是效果差一点就下线,而是看趋势。如果连续两周返工率上升、成本上升、完成率下降,三项同向恶化,就该考虑切换。

单项波动可能是流量结构变化,不要过度反应。判断要看组合,不要看单点。

最后:生产评测的目的是决策,不是报表。数据出来必须有人拍板,否则只是好看的图表。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论