可解释性被讨论得很玄,落地时其实只需要一个很低的标准:出事之后,能不能说清楚是哪一步错了。

最低标准包含哪几条?

三条。第一,输入可追溯:用了哪些材料。第二,路径可复述:大致走了哪几步。第三,责任可定位:哪一步的判断最可疑。

三条都做到,就够日常审计用。不需要把每个神经元都解释清楚。

为什么不需要完全解释?

因为完全解释的成本高于收益。人也不能完全解释自己的判断,但人能说出理由,理由可以被检验。

系统需要的也是理由,不是电路图。

现在的系统缺哪一条?

缺第二条。多数系统能给输入,能给输出,中间路径是黑箱。黑箱在正常时无所谓,在异常时致命。

路径缺失导致一个尴尬:知道它错了,不知道为什么错,只能整体重跑。

怎么补路径?

三个手段。一是结构化中间产物,把推理拆成可命名的步骤,每步留痕。二是工具调用日志,把外部查询和计算结果记下来。三是多版本对照,同一任务跑两遍,看分歧点在哪。

第三个手段最实用,成本也最低。分歧点往往就是薄弱环节。

可解释性和性能冲突吗?

会有冲突,但没那么大。留痕的额外开销通常在百分之几,换来的是可维护性。

真正冲突的是流程设计。要求留痕,就得把任务拆成可留痕的步骤,这会限制模型的自由发挥。

很多团队不愿意拆,是因为拆了之后发现任务本来就没想清楚。

谁来读这些解释?

三种人。审核员读结论的依据,运维读失败路径,用户读结果的置信。

三种人需要的粒度不同,所以解释要分层输出:一句话结论、三条依据、完整日志。

只给一种粒度,必然有一方不满意。

这和信任有什么关系?

信任来自可核对。能核对的存在,错了也能修;不能核对的存在,对了也不敢用。

这就是为什么企业采购 AI 时,解释能力常被排在效果之后、但排在价格之前。

写内容的人该怎么用这个标准?

写评测、写教程、写案例,都可以套这三条:材料是什么,步骤是什么,哪步最容易出问题。

把第三点写透,文章就有了别人抄不走的价值,因为那是踩过坑才知道的东西。

同簇还有哪几篇值得一起看?

想就这个话题接着到论坛聊吗?

前往 ziyuanagi.com 论坛 参与讨论