智能体的成本控制,很多人等到账单出来才反应。那时候已经晚了。成本要在设计阶段就设上限。
成本从哪来?
第一是输入 token。上下文越长,每次调用越贵。把整份文档塞进去,成本会线性上升。
第二是输出 token。让模型写长文,比让它写摘要贵得多。
第三是调用次数。多轮对话、多智能体协作,次数会成倍增加。
第四是重试。失败重试会重复计费,一个死循环能烧掉大量额度。
怎么在设计阶段控?
第一,分级用模型。简单分类、抽取用便宜模型,复杂推理用贵模型。全流程用最贵的,成本必然失控。
第二,压缩上下文。只给必要的片段,不给整份文档。检索比全量塞入便宜得多。
第三,限制输出长度。设上限,超了截断或要求精简。
怎么在运行阶段控?
设单次预算。一次任务最多花多少 token,超过就停。
设日预算。一天总量上限,临近上限时降级或排队。
设异常检测。单位时间消耗突然飙升,自动暂停并告警。飙升通常是死循环的信号。
怎么在事后分析?
按任务类型统计成本。哪类任务最贵、贵在输入还是输出、有没有优化空间。
按用户或租户统计。有没有单一用户占用过多资源。
按失败任务统计。失败也计费,这部分常被忽略。
怎么优化最有效?
缓存。相同或相似请求复用结果,尤其适合高频重复查询。
批处理。能合并的请求合并,减少调用开销。
减少轮次。多轮对话里,前面的历史不必每轮都带全,做摘要压缩。
有哪些误区?
只看单价不看总量。便宜模型用一百次,可能比贵模型用一次还贵。
为了省成本牺牲质量。返工的成本往往高于省下的费用。
不做预算硬上限。软提醒没人看,硬上限才会真正刹车。
最后一句:成本控制不是省钱,是让每一分钱都花在有产出的地方。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论