结构化输出不稳定,是智能体落地最常见的工程问题:同一段提示词,今天返回合法 JSON,明天多了一段解释,后天字段名换了。下游系统一解析就崩。
为什么结构化输出会不稳定?
四个原因。第一,提示词描述模糊,模型对字段含义理解有偏差;第二,缺少示例,模型不知道期望的格式细节;第三,长输出时模型容易「忘记」格式要求;第四,模型本身有随机性,同一输入两次结果不同。
怎么提高稳定性?
四条做法。第一,用 schema 约束,明确字段名、类型、必填项、取值范围;第二,给两到三个正例,覆盖简单和复杂情况;第三,要求「只输出 JSON,不要解释」,并放在提示词最后;第四,用支持结构化输出的接口或模式。四条里,第一条和第四条最有效。
解析失败怎么处理?
三层。第一层,自动修复,去掉多余文本、补引号、修正括号;第二层,重试,带上错误信息让模型修正;第三层,降级,用宽松解析或转人工。三层里,第一层能解决大部分格式问题,但不要过度依赖,掩盖了根本的提示词问题。
字段值不稳定怎么办?
三个做法。第一,枚举字段用固定取值列表,禁止自由发挥;第二,数值字段要求带单位并限制范围;第三,文本字段限制长度,并在提示词里说明用途。三个做法里,第一个最有效,开放取值是最大的不稳定源。
怎么测试稳定性?
两个动作。第一,同一输入跑十次,统计格式合规率和字段一致率;第二,用边界样本测试,比如空输入、超长输入、含特殊字符的输入。两个动作里,第二个最容易发现问题,正常样本往往掩盖了边界缺陷。
什么时候该放弃结构化输出?
当任务本身需要自由表述时,比如创意写作、开放问答。强行结构化会损失信息,也会让输出变得僵硬。判断标准是「下游需不需要机器解析」,不需要,就别加约束。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论