提示词改着改着就乱了,是智能体项目最典型的技术债。改一句、试一次、感觉好点就上线,两周后谁也说不清线上那版是哪一版,出了问题也没法回滚。
为什么提示词需要版本管理?
因为它是生产逻辑的一部分。提示词决定了模型怎么理解任务、怎么调用工具、怎么组织输出,改一个词可能改变整条链路的行为。把它当草稿随手改,等于让生产逻辑处在不可追溯的状态。
版本管理该管什么?
四样。提示词全文、配套的模型与参数、对应的评测结果、上线时间与负责人。四样里,第二样最容易被漏,同一个提示词在不同温度下效果差别很大,只记提示词不记参数,复现不了。
怎么组织版本?
三条规则。第一,每次改动建一个新版本,不覆盖旧版本;第二,版本号带日期和用途,比如按日期加场景后缀;第三,主版本对应评测结果,评测不过的不进主版本。三条里,第一条最基础,覆盖式管理等于没有管理。
怎么判断改动是好是坏?
靠评测集,不靠感觉。准备一组固定任务,每次改动后跑一遍,对比通过率、格式合规率、平均耗时。三个指标里,第一个最重要。没有评测集,改动只能靠「我觉得好点了」,这是最危险的状态。
怎么防止越改越乱?
三个做法。第一,一次只改一个变量,改完记录影响;第二,保留「最后一版可用」的备份,随时能回滚;第三,每周复盘一次改动记录,把无效改动合并或删除。三个做法里,第二个最关键,它保证了出问题时有退路。
团队协作怎么处理?
两条。第一,提示词放在共享仓库,不放在个人电脑;第二,改动需要说明理由,并附上评测结果。两条都是低成本要求,但能避免「谁改的、为什么改」这类无解问题。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论