GPT-6.2 Astra 的 API 价格下调两成,缓存价格下调六成,这组数字在开发者群里传得很快。但降价不等于账单一定变少,先把自己真实的调用结构拆开,才知道省下的钱落在哪。
降价到底降在哪一段?
大模型账单通常由三部分组成:输入 token、输出 token、缓存读写。多数人盯着单价,却忽略了自己的调用里有多少是重复的系统提示、知识库片段和格式约束。这部分如果走缓存,降六成的效果远大于输入降两成。
反过来说,如果你的调用每次都是全新长文,缓存命中率接近零,那么降价的体感会很弱。先看账单明细里的缓存读写占比,再判断这次降价与你有没有关系。
一次任务到底要花多少钱?
把一次典型任务拆开:系统提示约一千 token、检索资料约三千 token、用户输入五百 token、输出八百 token。按新价格估算,单次成本已经落到几厘到几分钱的量级。真正拉高账单的往往不是单价,而是失败重试和无效轮次。
一个可用的算法是:单任务成本等于平均 token 乘单价乘一加失败率。失败率从一成降到百分之三,省下的钱可能比降价更多。所以优化提示词和减少返工,优先级高于等下一次降价。
该不该立刻迁移?
先做两周影子流量:同一批请求同时打旧模型和新模型,记录成本、延迟、人工返工率。三项都过关再切,别只看单价。迁移的时间点最好放在业务低峰,避免把成本优化变成事故。
还有一条常被忽略:把缓存键设计好。同一份知识库配不同问题,缓存能否命中取决于前缀是否稳定。前缀一变,省钱方案立刻失效。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论