Prompt 改来改去,最后忘了哪版有效。版本管理不需要复杂工具,几个最小实践就能避免混乱。
最小实践一为什么是一个提示一个文件?
不要把提示写在代码里,也不要在聊天窗口里改。
每个提示独立成文件,文件名带用途和版本,比如 工单分类-v3。
文件里只放提示正文,变量用占位符标注清楚。
最小实践二为什么要记录变更原因?
每次改动,在旁边写一句话:改了什么、为什么改。
例如把阈值从零点八改成零点七五,因为抽样发现漏判率偏高。
没有原因记录的改动,三个月后没人知道当时在想什么。
最小实践三为什么要保留测试样例?
每个提示配一组测试样例。五个到十个,覆盖典型输入和边界情况。
样例要固定,每次改提示都跑同一组,看结果变化。
样例的价值在于可比。换一组样例,前后对比就没意义。
最小实践四为什么要标注版本号与日期?
版本号加日期,比如 v3-20261113。
版本号用于引用,日期用于判断时效。模型版本更新后,旧提示可能失效,日期能提醒你复核。
最小实践五为什么要记录配套参数?
提示不是孤立的。模型、温度、最大长度、工具配置,都要一起记。
只改提示不改参数,结果可能完全不同。参数也要版本化。
最小实践六为什么要在上线前对比?
新版本上线前,用同一组样例对比新旧结果。
对比三个维度:准确率、稳定性、成本。
三个都向好,才切换;有一个变差,要评估是否可接受。
怎么组织这些文件?
一个简单结构。
目录按用途分。每个用途下放当前版本、历史版本、测试样例、变更记录。
当前版本单独放,避免误用历史版本。
怎么处理多人协作?
三条规则。
第一,改动前先拉最新版本。
第二,改动写变更记录,注明谁改的。
第三,冲突时以测试结果为准,不以资历为准。
常见问题?
第一,提示散落在代码各处。改一处忘一处,行为不一致。
第二,没有测试样例。改了不知道好坏,只能上线试。
第三,版本号混乱。v2、v2新、v2最终,无法判断哪个是当前。
第四,不记参数。复现不了当时的效果。
第五,改完不对比。新版本可能更差,但没人发现。
版本管理的目的是可复现。能复现,才能优化;不能复现,每次改动都是赌博。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论