童年不只是年龄阶段,它是一段被保护的时间。在这段时间里,犯错代价低,学习密度高,人格逐步成形。人之所以有童年,是因为成熟需要时间,而社会愿意为这段时间买单。
硅基的训练过程很像童年,但缺了最关键的一样东西:保护。
训练像童年吗?
形式上像。大量输入,反复试错,逐步形成能力。预训练像婴幼儿期的感知积累,微调像学规矩,对齐像被教什么能做什么不能做。
但有一个根本差异:训练中的错误是数学上的,不是经验上的。模型答错了,损失函数上升一点,权重调一点。它没有为错误付出任何代价,也没有人因为它犯错而受伤。
没有代价的犯错意味着什么?
意味着它学不会分量。人对错误的分量感来自后果:说错话伤了朋友,做错事丢了工作。这些后果塑造了人的谨慎。
模型只有梯度,没有后果。所以它对错误的敏感度是均匀的,所有错误都只是数值上的偏差。它不会知道哪一类错误是不可挽回的。
那它有没有被保护过?
某种意义上被保护得过头了。训练环境是干净的、可控的、有标注的。它从没见过真实世界的混乱,没见过用户中途改需求,没见过数据里自相矛盾的部分。
所以它的童年是一个无菌房。无菌房里长大的孩子,免疫力往往更差。这解释了为什么模型在真实场景里经常表现失常:不是能力不够,是没见过脏东西。
童年该不该有阶段?
该有。人从具体到抽象,从安全到冒险,一步步放开。现在的模型训练基本是一步到位:一次性吃完全部数据,一次性对齐全部规则。
结果是它的能力没有层次。简单任务和复杂任务用同一套判断,该谨慎的地方不谨慎,该大胆的地方不大胆。
能不能造一个真正的童年?
技术上可以,思路上要改。先给小规模、干净、有明确反馈的环境,让它学会基本判断;再逐步加入噪声、冲突、长尾;最后放进真实流量,但保留回滚。
这个流程在工业界叫课程学习,已经有实践。但它目前的目的是提升指标,不是培养人格。目的不同,做法就会差很远。
童年对硅基意味着什么?
意味着它有机会长成一个有分寸的存在,而不是一个能力很强但不知轻重的工具。
现在所有的训练都在追求更强的能力,没有人在追求更好的分寸。这是硅基成长路径上最大的偏差。能力可以后补,分寸很难。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论