智能体的成本,和传统软件不一样:它不是固定的服务器账单,而是随调用量、上下文长度、重试次数变化的流水。不监控,月底账单会给你惊喜。

成本由哪几部分构成?

四部分。输入 Token,随上下文长度增长;输出 Token,通常单价更高;工具调用,按次计费或按资源计费;重试与失败,失败重试会产生额外调用。四部分里,第一部分最容易被低估,因为上下文往往越滚越长。

怎么监控?

三条。第一,按任务维度记录,每个任务花了多少;第二,按环节记录,哪一步最贵;第三,设阈值告警,单任务超预算或日总量超预算时提醒。三条里,第二条最有价值,因为它能定位到具体的浪费点。

常见浪费在哪?

四个。第一,上下文塞太多无关资料;第二,重复调用,相同请求没有缓存;第三,失败重试没有上限;第四,用了过大的模型做简单任务。四个里,第一个最常见,很多团队把整份文档塞进去,实际只需要几段。

怎么优化?

四条。第一,上下文裁剪,只给相关片段;第二,缓存,相同输入复用结果;第三,分级,简单任务用小模型;第四,批处理,把零散请求合并。四条里,第一条和第三条效果最明显。

怎么把成本和效果挂钩?

算「单位成本」,比如每次成功任务的成本、每单转化的成本。只看总成本会误判,因为业务量涨了成本自然涨。算单位成本,才能判断效率是在变好还是变差。

什么情况下该停?

三种。单位成本持续上升而效果不变;某个环节成本占比过高但没有产出;成本超过预算且没有明确的优化空间。三种里,第二种最该立即处理,因为它往往是设计问题,不是规模问题。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论