局部极小

优化沿梯度下降，每步朝当下最陡的下坡走，这很高效，却容易卡在局部极小：周围都是上坡，出不去，全局更好的解在另一座盆地。顿悟常被描述为从卡住处突然跳出，这种跳跃靠什么力量，与梯度是什么关系，本篇从优化几何说起。 局部极小为什么会困住梯度下降？ 局部极小是一个低洼处，四周坡度都向上，沿当前方向找不到下降空间，算法于是停住，以为到底了，而全局最优在远处另一个谷底，中间隔着必须爬过去的坡。 梯度只看脚下坡度，没有全局视野，它无法判断自己困住的是盆地还是井底，这是贪心策略的天生盲区。 越精确的局部优化越容易落进近处小坑，反而是不够贪心时可能越过分隔坡。 跳跃需要哪些非梯度力量？ 跳出局部极小不能靠继续沿坡走，必须有非梯度力量：随机扰动把状态推离当前点，换一个起点重新下山；增大步长允许越过分隔坡；暂时接受上升以走出盆地。 这些力量共同特征是不追求当下最优，允许短期变差以换取全局位置，与每步最优的贪心逻辑相反。 顿悟在几何上对应这种跳出：长期卡住后借一次扰动或视角转换越过分隔，落到新盆地，而不是沿原坡继续磨。 顿悟与梯度是替代关系还是配合关系？ 不是替代：跳出之后仍然要靠梯度下降在新盆地里精雕细琢，没有落地优化，跳跃只是随机乱跑。顿悟提供位置切换，梯度提供局部收敛，两段配合。 也不是等同：跳跃的触发力量来自非梯度，若把顿悟说成更高级的梯度，就丢掉了跳出这一关键动作。 人解决难题常常先卡住积累，再借休息、旁触获得扰动，随后沿新思路深入，正是跳出加收敛的结构。 这个结构对训练与思考有什么启发？ 工程上，克服局部极小靠多起点、随机重启、允许探索步长，而非一味加深局部优化，这与跳出所需力量一一对应。 思考上，卡住时硬磨当下路径常常无效，需要主动离开问题、换视角、引入无关刺激制造扰动，再回到题面，跳出与收敛分工明确。 还要区分真卡住与假卡住：有些困境只是信息不足，补全条件后沿原坡即可下降，不需要跳跃，误把信息缺口当局部极小，乱跳反而走偏。判断先于力量，先确认是盆地困住，再动用非梯度的一跳。 顿悟与梯度的关系，是先跳出去再落下来。分清非梯度的跳跃与梯度的收敛，既不把顿悟神秘化，也不把优化矮化为一路下山。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论