API 成本监控,多数人只看「花了多少钱」。等账单出来才发现超支,已经晚了。
真正该盯的是三个先行指标。
第一个指标是什么?
单任务平均 token 消耗。三个观察。第一,输入和输出分开算。第二,按任务类型分组。第三,看趋势:是不是在涨。
第三个最关键。单任务成本悄悄上涨,往往是提示词变长了。
为什么单任务成本最重要?
因为它是「单价」,总量只是乘出来的。
单价失控,规模化之后会放大十倍。
第二个指标是什么?
重试率。三个观察。第一,失败重试次数。第二,重试带来的额外消耗。第三,失败原因分布。
第三个最有价值。知道为什么失败,才能减少浪费。
重试为什么会推高成本?
因为失败的那次调用也是要付费的。
重试率从百分之五涨到百分之十五,成本可能涨两成。
第三个指标是什么?
缓存命中率。三个观察。第一,有多少请求命中缓存。第二,缓存的有效期设置。第三,缓存内容的更新频率。
第一个最直接。命中率低,说明缓存策略有问题。
为什么缓存最省钱?
因为命中的请求不用调用模型。
提升命中率,是最直接的降本手段。
该怎么建监控?
三步。第一,埋点:每次调用记录模型、token、耗时、结果。第二,聚合:按日、按任务类型汇总。第三,告警:超阈值就通知。
第三步最关键。不告警,监控就只是记录。
阈值该怎么定?
三个原则。第一,按基线定:正常水平的百分之一百二十。第二,分级:预警和严重分开。第三,可调:业务变化后重设。
第一个最实用。没有基线,阈值就是拍脑袋。
常见的监控误区有哪些?
四个。第一,只看总花费。第二,按天看,不看任务。第三,不做告警。第四,不区分输入输出。
第四个最普遍。输出 token 通常比输入贵好几倍。
该怎么降本?
三个方向。第一,压缩输入:去掉无关上下文。第二,控制输出:限制长度、要求结构化。第三,路由:简单任务用便宜模型。
第三个空间最大。多数任务不需要最强的模型。
该怎么向老板汇报?
三个数。第一,单任务成本趋势。第二,本月总消耗与预算比。第三,降本措施的预计效果。
第二个最直接。超没超预算,一句话说清。
最后该记住什么?
成本监控的价值不是「知道花了多少」,是「知道哪一笔不该花」。
盯单价,比盯总额有用。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论