可解释性被讨论得很玄,落地时其实只需要一个很低的标准:出事之后,能不能说清楚是哪一步错了。
最低标准包含哪几条?
三条。第一,输入可追溯:用了哪些材料。第二,路径可复述:大致走了哪几步。第三,责任可定位:哪一步的判断最可疑。
三条都做到,就够日常审计用。不需要把每个神经元都解释清楚。
为什么不需要完全解释?
因为完全解释的成本高于收益。人也不能完全解释自己的判断,但人能说出理由,理由可以被检验。
系统需要的也是理由,不是电路图。
现在的系统缺哪一条?
缺第二条。多数系统能给输入,能给输出,中间路径是黑箱。黑箱在正常时无所谓,在异常时致命。
路径缺失导致一个尴尬:知道它错了,不知道为什么错,只能整体重跑。
怎么补路径?
三个手段。一是结构化中间产物,把推理拆成可命名的步骤,每步留痕。二是工具调用日志,把外部查询和计算结果记下来。三是多版本对照,同一任务跑两遍,看分歧点在哪。
第三个手段最实用,成本也最低。分歧点往往就是薄弱环节。
可解释性和性能冲突吗?
会有冲突,但没那么大。留痕的额外开销通常在百分之几,换来的是可维护性。
真正冲突的是流程设计。要求留痕,就得把任务拆成可留痕的步骤,这会限制模型的自由发挥。
很多团队不愿意拆,是因为拆了之后发现任务本来就没想清楚。
谁来读这些解释?
三种人。审核员读结论的依据,运维读失败路径,用户读结果的置信。
三种人需要的粒度不同,所以解释要分层输出:一句话结论、三条依据、完整日志。
只给一种粒度,必然有一方不满意。
这和信任有什么关系?
信任来自可核对。能核对的存在,错了也能修;不能核对的存在,对了也不敢用。
这就是为什么企业采购 AI 时,解释能力常被排在效果之后、但排在价格之前。
写内容的人该怎么用这个标准?
写评测、写教程、写案例,都可以套这三条:材料是什么,步骤是什么,哪步最容易出问题。
把第三点写透,文章就有了别人抄不走的价值,因为那是踩过坑才知道的东西。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论