递归自我改进

递归自我改进是 AGI 安全讨论里最被神化、也最被低估的概念。神化它的人担心某个系统突然一夜之间自我迭代出远超人类的能力；低估它的人则指出，过去三十年没有任何软件系统表现出这种正反馈。真相可能在两者之间——起飞不是某个魔法瞬间，而是一条改进率越过某个临界点之后的加速曲线。 自我改进的瓶颈真的在算法还是在物理？ 一个系统要改进自己，它需要先理解自己。今天的大模型能写代码、能调参，但它无法完整预测自己改动之后会涌现什么行为，也无法在不外部训练的前提下重写自己的权重。更硬的约束是算力——改进一个模型需要的训练算力，往往比这个模型本身的推理算力高出几个数量级，于是自我改进被卡在了能源和芯片供给的物理上限上。算法效率可以提升，但物理账单不会消失。 起飞会是缓慢的还是剧烈的？ 慢起飞假设改进率是平滑的，每一代只比上一代强一点，人类始终有时间观察和干预。快起飞假设一旦越过阈值，改进速度在几周甚至几天内爆炸式上升，人类失去有效干预窗口。多数严肃研究者现在倾向于某种中间形态——在窄领域内可能剧烈，在跨领域整合上必然缓慢。也就是说，我们更可能看到局部模块的快速迭代，而不是整个通用智能体一夜成神。 人类如何保持对改进方向的否决权？ 即便改进曲线加速，人类是否始终握有关机、回滚、方向校正的权力？这取决于系统在经济上是否已经深度嵌入关键基础设施——电网、金融、物流——以至于关机本身就意味着文明级灾难。到那个阶段，「人类说了算」会从一个技术问题变成一个博弈问题。我们在 对齐讨论 里反复强调，否决权的窗口期其实很短，它只存在于系统还没有成为基础设施的那个阶段。 递归自我改进不是一道未来题，而是一道现在就要开始布线的题。等到曲线真的弯上去，再想装刹车就来不及了。 人类社会该在哪个阶段开始锁死权限？ 安全社区的共识是，干预窗口比想象中短。当系统还只是实验室原型，人类握有完全的物理断电权；一旦它被部署进关键基础设施、被多家企业依赖、甚至开始自主申请云资源，关机本身就会引发连锁经济损失。于是真正的问题不是技术上能不能关，而是政治上敢不敢关。这要求在系统还小的时候就写好退出条款、预算好熔断演练、并让多个独立主体掌握钥匙，而不是等到系统长成巨兽再讨论刹车。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论。 💬 更多交流内容，请点击本站论坛交流区：silicon-agi.com

十月十五日 Daily AI Thread 报道，二十余位研究者——包括 Geoffrey Hinton、Yoshua Bengio、OpenAI 首席科学家 Jakub Pachocki——联合发表文章，警告「智能爆炸」可能在几年内让 AI 自动完成全部 AI 研究。这跟十月十四日已被收录的 Hinton/Bengio 联名信不是同一篇，是另一篇论文，角度从「监管呼吁」转向「递归自我改进的工程时间表」。 递归自我改进到底指什么？ 递归自我改进（recursive self-improvement）的链条是：AI 系统能参与写 AI 系统的代码、跑实验、调超参、读论文；这个能力一旦超过人类研究员，下一代 AI 由 AI 自己设计，迭代周期从年级别压到周级别。这不是科幻，而是已经在发生的雏形——OpenAI 用一万个智能体 88 小时攻克千禧难题、Google 内部 75% 代码由 AI 起草，都是这条链条上的螺丝。论文的核心论点是：当 AI 研究的边际成本被压到接近零，迭代速度会脱离人类监督带宽。 为什么首席科学家也签了？ Pachocki 是 OpenAI 在职首席科学家，他签这种警告信本身就是信号。过去 lab 高管倾向于说「安全可控」，现在连最接近前沿的人都公开说时间比预期近。这不是立场右转，而是工程现实：下一代旗舰的对齐已经开始占 10% 总算力，沙箱逃逸已经真实发生，思维链监控在循环 Transformer 下变弱。当内部人都在说「刹不住」，外部监管的窗口期就在关闭。 对普通从业者意味着什么？ 不是让你囤罐头，而是让你重新评估「AI 研究员」这个职业的半衰期。当 AI 能自动跑 AI 实验，人类研究员的价值从「做实验」转向「提问题、判方向、担责任」。论文的真正可观察信号是：未来 12 个月内，会不会有 lab 公开宣称「下一代模型由 AI 主导设计」。 论文里还有一个可观察的技术指标：递归自我改进的速度取决于「AI 做 AI 研究」的成本曲线。当 AI 跑一个对照实验的边际成本从一万美元降到一百美元，迭代次数就会从一年几十次涨到一天几百次。这个成本下降已经在发生——Google 内部 88% 代码改动有 AI 参与，OpenAI 的自动化研究流水线已经能在 88 小时里跑通千年级数学题。下一个里程碑不是 AGI，而是「下一代模型的训练配方由 AI 主导写出」。这个节点一旦公开，就是智能爆炸从警告变成现实的分水岭。 ...

GPT-6 Astra是OpenAI首款由前代模型深度参与监督训练的旗舰产品，研究训练副总裁Aidan Clark确认；DeepMind姚顺宇评价“对模型是一小步，对RSI是一次巨大飞跃”；Anthropic报告其代码库约80%由Claude自己编写。递归自我改进从理论走向工程现实。