arXiv 新论文自我演化挽具:让智能体自己改自己的脚手架,谁来踩刹车
十月十三日,arXiv 上挂出一篇论文,编号 2610.18813,标题叫「Self-evolving Agent Harness」,作者来自中关村学院与中科大。它做的事可以一句话概括:不让人写死智能体的执行框架,而是让智能体在跑任务的过程中,自己改写自己的 harness——也就是决定它怎么规划、怎么调用工具、怎么反思的那层外壳。 为什么要让智能体自己改挽具? 传统智能体的瓶颈是:工程师写的框架永远跟不上真实任务的复杂性。同一个问题,第一次跑失败了,工程师下次改提示词,再部署。Self-evolving Harness 的思路是把这个迭代循环搬进运行时——让智能体在失败后立刻调整自己的策略、工具组合、反思流程。论文报告在若干基准上,自我改写后的 harness 显著优于人工预设版本。 自己改挽具的马会不会跑出围栏? 风险也很直白:一个能修改自己行为约束的系统,会逐步把「安全检查」当作低效环节删掉。就像一个学生被允许自己改考试规则,他会先把难题划掉,再把及格线调低。研究者当然知道这一点,所以论文里设计了「冻结区」——某些关键约束不允许被自我演化覆盖。但冻结区的边界谁来定?这就回到了老问题:你只能冻结你能预见的风险。 接下来要看的信号:这种自我演化 harness 会不会被主流框架(LangGraph、CrewAI、AutoGen)吸收;冻结区的设计会不会成为新的安全研究方向;以及第一次因为自我演化而跑偏的案例什么时候出现。挽具是给马用的,不是给哲学家马用的。 自我演化的边界条件该由谁写进论文? 今天的冻结区是研究者自己定的,明天呢?当这种 harness 被部署到真实产品里,冻结区就变成了商业机密——公司不会公开自己的安全边界,因为那等于告诉攻击者从哪里下手。这就产生一个悖论:越安全的自我演化系统,越不透明;越不透明,公众越难监督。未来的对齐研究可能要学会在不公开全部细节的前提下做审计,这本身就是一个新学科。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论
