积分是个黑箱。用户只知道用得快,不知道快在哪。把消耗结构拆开,才知道怎么优化。

积分通常消耗在哪些环节?

四块:模型调用、工具执行、文件处理、存储。

模型调用是大头,尤其是长上下文和多轮对话。工具执行按调用次数计,文件处理按大小计,存储按占用计。

为什么长对话消耗特别快?

因为每一轮都要把历史带上。第一轮消耗一千 token,第十轮可能要带上九千 token 的历史。

这是累积效应,不是线性增长。一个聊了三十轮的会话,单轮成本可能是第一轮的十倍以上。

怎么降低对话成本?

三个做法。第一,重要任务开新会话,不要在一个会话里做完全不相干的事。第二,定期做摘要,把前面的内容压成一段,替换掉原始历史。第三,把固定背景放在系统提示里,不要每轮重复。

第二个最有效。聊到二十轮左右做一次摘要,能省掉大量重复。

工具调用为什么会贵?

因为每次调用都有往返开销:模型生成调用参数、系统执行、结果回填、模型再处理。

一次简单的查询,可能要两三次往返。复杂的多步任务,往返次数更多。

优化办法是减少不必要的调用。能在一次调用里拿到的数据,不要分三次。

文件处理贵在哪?

在解析。PDF 解析、图片 OCR、表格提取,这些都比纯文本处理贵。

优化办法是预处理。先把文件转成纯文本,再上传。这样模型只需要处理文本,不需要处理格式。

怎么监控消耗?

建议按任务类型记录。同一个任务跑三次,记下消耗,取平均。有了基线,异常消耗就能被发现。

没有基线的话,你只知道总消耗涨了,不知道是哪类任务涨的。

有什么常见的浪费?

三个。第一,反复重试。输出格式不对就重跑,跑五次才成功,消耗是五倍。第二,上传重复文件。同一个文件传了三次。第三,用高级模型做简单任务。

第一个最普遍。解法是先把提示词和格式定好,减少重试。

最后该记住什么?

积分消耗的优化,八成靠流程,两成靠技巧。流程对了,消耗自然降下来;只靠技巧,省不了多少。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论