大模型黑箱到底有多黑，机械可解释性给出了一个比多数人预期更乐观、也更有限的回答。乐观在于，权重里确实能拆出可读的结构；有限在于，这些结构离完整解释一个模型的决策还差得远。本站聊对齐裂缝时反复强调，看不懂模型就谈不上真正的安全，而机械可解释性正是那条试图把黑箱撬开一道缝的路。问题是，这道缝能撬到多宽。
第一张底牌：注意力里的可识别算法？
最早被看清的，是那些小到可以彻底解剖的电路。研究者在小规模 Transformer 里发现了归纳头，这是一组注意力头组成的循环，能让模型学会前面出现过的模式在后面重复。这不是事后统计，而是把权重打开，一步步读出它实现的算法：先找最近一次出现的位置，再复制那个位置的输出。
这种拆解的意义在于，它证明了权重里并非一片混沌，而是埋藏着人类能读懂的子程序。问题是，能彻底解剖的都是小模型。规模一大，电路数量爆炸，相互交织，人脑已经无法逐行跟踪。
第二张底牌：特征而非神经元？
随着模型变大，研究者换了一个粒度。不追单个神经元，也不追整条电路，而是追激活方向。人们发现，神经元并不孤立工作，真正有意义的是一大群神经元协同张成的方向，每个方向对应一个概念特征，比如某个画风格、某种语法关系、某个抽象推理步骤。
这是可解释性的一次范式换挡。它承认了人脑无法逐神经元审计，但坚持认为更高层的语义结构是可读的。代价是，我们能指出模型在用某个特征，却说不清这个特征为什么在这个权重配置下形成，更无法预测它在没见过的输入上会怎么组合。
第三张底牌：自动解释与因果干预？
最前沿的尝试是把解释这件事本身自动化。训练一个小模型去解释大模型的内部特征，再用激活补丁、因果的干预去验证这个解释是否准确。解释不再是研究者拍脑袋贴标签，而是可证伪的假设：我堵住这个特征，模型的某类行为是否如期消失。
这套方法的野心是把黑箱变成可审计对象。但现实依然骨感：今天能自动解释的，仍然是那些已经被人怀疑过的局部现象。面对一个模型在长链条推理中突然给出灾难性错误，我们依然拿不出一份完整的归因报告。可解释性不是还没完工，而是刚证明了方向可行。
我们距离真正看懂还有多远？
诚实地说，我们手里只有三张局部底牌。能看清小电路，能读出中等特征，能局部验证因果，但把这些碎片拼成一份对任意决策的完整说明，目前做不到。这恰恰是对齐的核心难点：模型能力还在涨，可解释工具的增速却追不上。在那一天到来之前，对黑箱保持制度性的怀疑，比相信它表面无害要稳妥得多。
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论