让模型输出 JSON 看起来是最简单的需求,实际上它是失败率最高的需求之一。原因不在模型笨,而在约束没写对。
为什么结构化输出老失败?
第一,字段约束太模糊。你写输出用户信息,模型不知道要哪些字段、什么格式、空值怎么表示。
第二,示例和规则冲突。示例里有五个字段,规则里说三个,模型会自己选一个折中方案。
第三,长输出中途跑偏。前几个字段对,后面开始加解释性文字,整段无法解析。
JSON 模式的三条硬约束是什么?
第一条,字段清单必须穷举,包含类型、是否必填、取值范围。不要用等等、其他这类开放词。
第二条,空值要有明确表示。是 null、空字符串还是省略字段,必须选一个并写死。第三条,禁止在 JSON 之外输出任何文字,包括解释和道歉。
工程上还要补什么?
即使模型支持 JSON 模式,也要在服务端做一次 schema 校验。校验失败不要直接报错给用户,先尝试一次修复重试,仍失败再降级成纯文本回答。
另一个实用技巧是把复杂结构拆成两次调用:先让模型输出要点,再用第二个调用把要点转成 JSON。两次都比一次生成大结构更稳。
字段多的时候,按重要性排序。把关键字段放前面,即使后面跑偏,前面还能救回来。
怎么验收才靠谱?
用真实输入跑一百条,统计解析成功率、字段完整率、字段正确率。三个指标分开看,因为解析成功不代表内容对。
再抽十条人工核对,看有没有把相近字段填反。这类错误机器校验查不出来,只能靠人。
最后:结构化输出的稳定性,八成取决于你的 schema 设计,两成取决于模型。schema 写不清楚,换再强的模型也没用。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论