推理时计算是个新变量。同一个模型,多给它一些思考时间,答案质量会提升。这个提升有上限,也有最优分配点。

理解这个机制,比换更大的模型更省钱。

推理时计算做了什么?

主要是让模型在给出答案前做更多中间步骤。展开思路、自我检查、尝试多个方向再择优。这些步骤消耗词元,也消耗时间。

它的价值和模型规模是互补的。小模型加长思考,在某些任务上能接近大模型的一次性输出,成本更低。但不是所有任务都吃这一套。

哪些任务吃推理时计算?

三类。第一类是需要多步推理的,数学、逻辑、规划。第二类是需要搜索的,从大量候选中选最优。第三类是需要自我校验的,容易出错但错误可被检出的任务。

哪些不吃?知识回忆类,知道就是知道,想多久都一样。格式转换类,规则明确,多想无益。创意生成类,想太久反而收敛到平庸答案。

预算该分多少?

有个经验曲线。从零增加到中等思考量,收益明显;再往上加,收益递减;超过某个点,开始出现副作用,比如过度分析、自我怀疑、答案变啰嗦。

最优点的位置因任务难度而变。简单任务最优点很低,复杂任务最优点更高。判断方法是用同一批任务跑几个思考档位,画一条准确率对成本的曲线,取性价比拐点。

分配策略有哪几种?

四种。固定预算,所有请求给同样的思考量,简单但不经济。按难度路由,先判断任务难度,简单任务少给,复杂任务多给。自适应停止,让模型自己判断想清楚了没有,想清楚就停。多采样投票,跑多次取共识,适合答案可验证的任务。

路由和自适应最难做,但收益最大。多采样最简单,成本最高。

常见误区是什么?

第一个误区是认为思考越长越好。实际超过最优点会变差,尤其是需要果断判断的场景。

第二个误区是只看准确率不看延迟。用户等待时间是有成本的,多等十秒换百分之一的准确率,多数场景不划算。

第三个误区是忽略输出长度。长思考会产生长输出,输出词元计费更高,账单一算吓一跳。

该怎么落地?

先分类自己的任务,标出哪些需要深度推理、哪些是即时响应。给不同类别配不同预算,而不是一刀切。上线后持续监控两个指标:准确率和平均延迟。两者失衡就调预算。

推理时计算是一个可调的旋钮,不是一个必须开到底的开关。会用的人拧得准,不会用的人要么浪费算力,要么错失提升。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论