提示词写到一定数量,就会遇到三个问题:改了 A 场景的效果,B 场景变差了;换个模型,全部要重调;出了问题,想回到上周的版本却找不到。解决这三个问题,需要版本、评测、回滚三件套。
为什么提示词需要版本管理?
因为提示词是资产,不是草稿。一个跑通的提示词,背后是几十次试错,丢了就是重来。版本管理要记录四件事:改了什么、为什么改、改前效果、改后效果。
最简单的做法是用表格加固定命名:场景名加版本号加日期,比如「客服回复v3-1110」。别用「最终版」「最终版2」这种命名,三个月后没人看得懂。
评测怎么做才有意义?
建一个固定评测集:每个场景准备十条真实输入,覆盖典型情况和边界情况。每次改提示词,用同一批输入跑一遍,记录通过率和人工修改量。
评测不要只看「看起来更好」,要看三个数:一次通过率、平均修改字数、返工次数。三个数里有两个变好,才算改进。
回滚机制怎么设计?
保留最近五个版本,每个版本附评测结果。线上效果下降时,先回滚再排查,不要在原版本上继续改。回滚后把问题记下来,作为下一版的改进项。
回滚要快,最好是一键切换。如果回滚需要半小时,说明你的提示词是散落在代码里的,应该抽成配置文件。
资产库怎么组织目录?
按「场景、版本、评测、样本」四层组织。场景目录下放提示词文件,版本目录放历史版本,评测目录放评测集和结果,样本目录放输入输出样例。
再加一个总表,记录每个场景的当前版本、负责人、上次评测时间。这张表是团队协作的入口,谁接手都能找到东西。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论