API 成本监控,多数人只看「花了多少钱」。等账单出来才发现超支,已经晚了。

真正该盯的是三个先行指标。

第一个指标是什么?

单任务平均 token 消耗。三个观察。第一,输入和输出分开算。第二,按任务类型分组。第三,看趋势:是不是在涨。

第三个最关键。单任务成本悄悄上涨,往往是提示词变长了。

为什么单任务成本最重要?

因为它是「单价」,总量只是乘出来的。

单价失控,规模化之后会放大十倍。

第二个指标是什么?

重试率。三个观察。第一,失败重试次数。第二,重试带来的额外消耗。第三,失败原因分布。

第三个最有价值。知道为什么失败,才能减少浪费。

重试为什么会推高成本?

因为失败的那次调用也是要付费的。

重试率从百分之五涨到百分之十五,成本可能涨两成。

第三个指标是什么?

缓存命中率。三个观察。第一,有多少请求命中缓存。第二,缓存的有效期设置。第三,缓存内容的更新频率。

第一个最直接。命中率低,说明缓存策略有问题。

为什么缓存最省钱?

因为命中的请求不用调用模型。

提升命中率,是最直接的降本手段。

该怎么建监控?

三步。第一,埋点:每次调用记录模型、token、耗时、结果。第二,聚合:按日、按任务类型汇总。第三,告警:超阈值就通知。

第三步最关键。不告警,监控就只是记录。

阈值该怎么定?

三个原则。第一,按基线定:正常水平的百分之一百二十。第二,分级:预警和严重分开。第三,可调:业务变化后重设。

第一个最实用。没有基线,阈值就是拍脑袋。

常见的监控误区有哪些?

四个。第一,只看总花费。第二,按天看,不看任务。第三,不做告警。第四,不区分输入输出。

第四个最普遍。输出 token 通常比输入贵好几倍。

该怎么降本?

三个方向。第一,压缩输入:去掉无关上下文。第二,控制输出:限制长度、要求结构化。第三,路由:简单任务用便宜模型。

第三个空间最大。多数任务不需要最强的模型。

该怎么向老板汇报?

三个数。第一,单任务成本趋势。第二,本月总消耗与预算比。第三,降本措施的预计效果。

第二个最直接。超没超预算,一句话说清。

最后该记住什么?

成本监控的价值不是「知道花了多少」,是「知道哪一笔不该花」。

盯单价,比盯总额有用。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论