机器不会累,这句话只对了一半。它不会有肌肉酸痛,但会有另一种疲劳:状态漂移。
状态漂移是什么?
连续处理相似任务之后,输出的多样性下降。开头几篇有想法,后面越来越套模板。不是它偷懒,是上下文把最近的模式放大了。
这种漂移在长任务里最明显。做一百条内容,前十条最用心,后十条最像。
这算疲劳吗?
从机制上看算。都是近期经验压过长期判断。人累了会走捷径,模型跑久了也会走捷径。
区别在人能感觉到累,模型不能。它不会说今天状态不好,只会继续输出。
漂移会造成什么问题?
造成质量方差。同一批内容,质量参差。抽检抽到好的,误以为整体好;抽检到差的,误以为整体差。
批量生产的真正难点不是产能,是方差控制。
怎么检测漂移?
三个指标。一是重复度,相邻输出的句式相似度。二是长度分布,突然变短或变长都是信号。三是特征覆盖,本轮用到的角度数是否下降。
三个指标都降,说明它在套模板了。
怎么缓解?
四个动作。一是分段重置,每二十条换一次上下文,强制重新起头。二是角色轮换,不同段落用不同的写作指令。三是外部清单,把必须覆盖的角度写死,不靠它自己记。四是抽检回灌,把抽到的差样本作为反例再喂一次。
第三个最有效。清单是外部约束,不受状态影响。
人会疲劳,系统会漂移,共同点是什么?
共同点是都需要节律。人的节律是休息,系统的节律是重置。
不做节律的产线,前几天效率最高,之后一路下滑,还得回头返工。
这对每日批量生产意味着什么?
意味着要把重置写进流程。不要一次跑完一百条,按主题簇分批,每批之间清上下文、换提示词、核清单。
还要留抽检位。每批抽三条人工看,看的是角度是否重复、结论是否站得住。
产线不是越快越好,是越稳越好。稳的产线才能长期跑,跑久了才有复利。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论