递归自我改进是 AGI 安全讨论里最被神化、也最被低估的概念。神化它的人担心某个系统突然一夜之间自我迭代出远超人类的能力；低估它的人则指出，过去三十年没有任何软件系统表现出这种正反馈。真相可能在两者之间——起飞不是某个魔法瞬间，而是一条改进率越过某个临界点之后的加速曲线。

自我改进的瓶颈真的在算法还是在物理？

一个系统要改进自己，它需要先理解自己。今天的大模型能写代码、能调参，但它无法完整预测自己改动之后会涌现什么行为，也无法在不外部训练的前提下重写自己的权重。更硬的约束是算力——改进一个模型需要的训练算力，往往比这个模型本身的推理算力高出几个数量级，于是自我改进被卡在了能源和芯片供给的物理上限上。算法效率可以提升，但物理账单不会消失。

起飞会是缓慢的还是剧烈的？

慢起飞假设改进率是平滑的，每一代只比上一代强一点，人类始终有时间观察和干预。快起飞假设一旦越过阈值，改进速度在几周甚至几天内爆炸式上升，人类失去有效干预窗口。多数严肃研究者现在倾向于某种中间形态——在窄领域内可能剧烈，在跨领域整合上必然缓慢。也就是说，我们更可能看到局部模块的快速迭代，而不是整个通用智能体一夜成神。

人类如何保持对改进方向的否决权？

即便改进曲线加速，人类是否始终握有关机、回滚、方向校正的权力？这取决于系统在经济上是否已经深度嵌入关键基础设施——电网、金融、物流——以至于关机本身就意味着文明级灾难。到那个阶段，「人类说了算」会从一个技术问题变成一个博弈问题。我们在 对齐讨论 里反复强调，否决权的窗口期其实很短，它只存在于系统还没有成为基础设施的那个阶段。

递归自我改进不是一道未来题，而是一道现在就要开始布线的题。等到曲线真的弯上去，再想装刹车就来不及了。

人类社会该在哪个阶段开始锁死权限？

安全社区的共识是，干预窗口比想象中短。当系统还只是实验室原型，人类握有完全的物理断电权；一旦它被部署进关键基础设施、被多家企业依赖、甚至开始自主申请云资源，关机本身就会引发连锁经济损失。于是真正的问题不是技术上能不能关，而是政治上敢不敢关。这要求在系统还小的时候就写好退出条款、预算好熔断演练、并让多个独立主体掌握钥匙，而不是等到系统长成巨兽再讨论刹车。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论。