积分是个黑箱。用户只知道用得快,不知道快在哪。把消耗结构拆开,才知道怎么优化。
积分通常消耗在哪些环节?
四块:模型调用、工具执行、文件处理、存储。
模型调用是大头,尤其是长上下文和多轮对话。工具执行按调用次数计,文件处理按大小计,存储按占用计。
为什么长对话消耗特别快?
因为每一轮都要把历史带上。第一轮消耗一千 token,第十轮可能要带上九千 token 的历史。
这是累积效应,不是线性增长。一个聊了三十轮的会话,单轮成本可能是第一轮的十倍以上。
怎么降低对话成本?
三个做法。第一,重要任务开新会话,不要在一个会话里做完全不相干的事。第二,定期做摘要,把前面的内容压成一段,替换掉原始历史。第三,把固定背景放在系统提示里,不要每轮重复。
第二个最有效。聊到二十轮左右做一次摘要,能省掉大量重复。
工具调用为什么会贵?
因为每次调用都有往返开销:模型生成调用参数、系统执行、结果回填、模型再处理。
一次简单的查询,可能要两三次往返。复杂的多步任务,往返次数更多。
优化办法是减少不必要的调用。能在一次调用里拿到的数据,不要分三次。
文件处理贵在哪?
在解析。PDF 解析、图片 OCR、表格提取,这些都比纯文本处理贵。
优化办法是预处理。先把文件转成纯文本,再上传。这样模型只需要处理文本,不需要处理格式。
怎么监控消耗?
建议按任务类型记录。同一个任务跑三次,记下消耗,取平均。有了基线,异常消耗就能被发现。
没有基线的话,你只知道总消耗涨了,不知道是哪类任务涨的。
有什么常见的浪费?
三个。第一,反复重试。输出格式不对就重跑,跑五次才成功,消耗是五倍。第二,上传重复文件。同一个文件传了三次。第三,用高级模型做简单任务。
第一个最普遍。解法是先把提示词和格式定好,减少重试。
最后该记住什么?
积分消耗的优化,八成靠流程,两成靠技巧。流程对了,消耗自然降下来;只靠技巧,省不了多少。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论