提示词工程这个词火了很久,现在开始降温。降温不是因为不重要,是因为大家发现投入产出比有个明显的拐点。
过了拐点再优化,收益很小;没过拐点,怎么调都不稳定。
拐点在哪?
在你能稳定复现结果的那一刻。同一个输入跑十次,八次以上得到符合预期的输出,就到了拐点。
没到这个点之前,加例子、加约束、加格式说明都是有效的。到了这个点之后,再加东西往往只是把过拟合换了个方向。
为什么加得越多越不稳定?
因为每一条指令都在争夺模型的注意力。指令之间有冲突时,模型会挑一条执行,挑哪条不确定。
十条约束里有一条被忽略,输出就废了。约束越多,被忽略的概率越高。这就是为什么有些提示词写得极细,效果反而不如写得粗的。
那该怎么写?
三条原则。第一,把必须满足的写成硬约束,数量控制在五条以内。第二,把最好满足的写成示例,让模型自己归纳。第三,把不能做的单独列出来,不要混在正面要求里。
正面要求和负面要求混在一起,模型容易只执行一半。分开写,各自的权重更清楚。
什么时候该停手?
三个信号。第一,改提示词带来的提升已经小于换模型的提升。第二,同样的问题反复出现,且每次原因不同。第三,你开始为了一个边缘案例加第五条例外规则。
出现任何一个,就该换手段了:换模型、加检索、加后处理、改流程。继续调提示词是浪费。
结构化输出该怎么保证?
不要靠提示词保证,靠校验保证。让它输出 JSON,然后用 schema 校验,不合格就重试或修正。这是工程手段,比在提示词里反复强调格式可靠得多。
提示词里写必须返回合法 JSON,模型大概率会照做,但不会百分百。工程上不能依赖大概率。
什么情况下提示词真的重要?
两种情况。一是任务本身模糊,需要模型理解意图,这时候清晰的描述能显著提升质量。二是风格控制,比如语气、长度、结构,这些只能靠提示词。
除此之外的大部分场景,提示词的作用被高估了。数据质量、检索质量、工具设计,这些的影响远大于措辞。
务实判断是什么?
把提示词当成接口设计,不是当成咒语。接口设计讲究清楚、稳定、可测。咒语讲究玄学、试错、口口相传。
前者能沉淀成资产,后者只能沉淀成经验。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论