结构化输出是工程化的第一道门槛。输出不稳定,下游所有环节都要做人肉清洗,系统就跑不起来。
保证它不是靠提示词,是靠工程手段。
为什么提示词保证不了?
因为模型的输出是概率性的。你在提示词里写必须返回合法 JSON,它大概率会照做,但不会百分百。
工程上不能依赖大概率。一次失败就可能导致整个流程中断。
有哪几种工程手段?
四种:约束解码、函数调用、输出校验加重试、后处理修复。
四种的成本和可靠性不同,通常组合使用。
约束解码是什么?
在生成时限制可选 token,只允许符合语法结构的输出。这样从机制上保证格式正确。
优点是可靠,缺点是可能影响内容质量,因为强行约束会干扰模型的自然生成。
函数调用是什么?
让模型通过专门的接口输出结构化参数,而不是自由生成文本。多数厂商都支持这种方式。
优点是格式稳定,缺点是对复杂嵌套结构的支持有限。
校验重试怎么做?
流程是:生成、用 schema 校验、不合格就带上错误信息重试、最多重试几次。
关键是重试时要告诉模型错在哪,不要只是重跑。带错误信息的重试成功率会高很多。
后处理修复怎么做?
对常见的格式问题做自动修复:去掉 markdown 包裹、补全缺失的括号、修正常见的字段名拼写。
这个手段能救回一部分输出,但不能依赖。修复逻辑本身也可能出错。
该怎么组合?
建议三层。第一层用函数调用或约束解码保证基础格式。第二层用 schema 校验。第三层校验失败时带错误重试。
三层都过不了,就走降级路径:返回空结果并告警,不要硬塞一个错误的结果给下游。
有什么容易忽略的点?
三个。第一,schema 要严格,不要允许额外字段。第二,字段类型要明确,数字和字符串不能混。第三,枚举值要校验,不要接受范围外的值。
第二个最常见。模型可能把数字输出成字符串,下游计算就出错。
怎么评估稳定性?
跑一百次同样的请求,统计一次成功率、平均重试次数、最终失败率。
一次成功率低于九成,说明方案有问题,需要优化。
最后该记住什么?
结构化输出的可靠性,决定系统能不能自动化。人类可以容忍格式错误,程序不能。
把这件事当成基础设施来建,不要当成提示词技巧。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论