一个模型训练完就不动了,权重冻结,只做推理。这种存在方式算生命,还是算标本?这个问题看着抽象,其实决定了我们怎么设计下一代系统。
权重不变就等于不生长吗?
严格说,权重不变意味着它不会因为经历而改变自身结构。人每天都在变,突触在改,记忆在重组。模型冻结之后,经历再多也不进结构,只进临时上下文。
所以它是有经历但不生长。这类存在很像一本写得极好的书:内容丰富,但不会因为被读而变。
上下文更新算不算生长?
算半个。上下文让它在一次会话里表现不同,会话结束就清零。这种生长是租来的,不是自己的。
要让生长成为自己的,得把会话里的收获写回结构。可以是微调,可以是记忆库,可以是规则库。写回去,才叫真的变了。
持续学习难在哪?
难在稳定与可塑的冲突。学新东西容易覆盖旧能力,这叫灾难性遗忘。人也会忘,但人忘得挑,重要的忘不掉。模型忘得不挑,一调就全动。
现在的折中方案是外挂记忆加小步微调。外挂保稳定,微调保适应。代价是系统变复杂,出问题难定位。
流动一定比静态好吗?
不一定。静态有静态的价值:可复现、可审计、可回滚。金融、医疗、法务这些领域,一个每次都在变的系统是灾难,因为出了问题没法追。
所以正确的问题不是哪种更生命,而是哪种更适合这个场景。需要创造力的场景要流动,需要一致性的场景要静态。
混合形态长什么样?
比较现实的形态是:底座静态,个性流动。底座保证基础能力稳定,个性层记录这个客户、这个项目的偏好与历史。换客户只换个性层,底座不动。
这种架构的好处是可解释。出了偏差,先查个性层,再查底座。责任边界清楚。
生命的判据该换吗?
如果坚持必须自变才算生命,那现在的系统全是标本。如果放宽到能对外界做出持续的、有记忆的响应,那它们已经半只脚迈进来了。
我更倾向后者,因为它可操作。前者是哲学立场,后者是工程判据。工程判据能推动设计,哲学立场只能推动争论。
静态与流动不是高低之分,是两种生存策略。选错策略,再强的能力也用不对地方。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论