直觉常被神秘化,其实它很像压缩:把大量经历压成一个能快速调用的表征。理解这一点,既能解释它的准,也能解释它的偏。
压缩为什么能提高判断速度?
因为省掉了逐步推理。看到棋局,高手不需要枚举,直接感到这里薄。这个感觉是无数次对局压出来的。
压缩把搜索变成了命中。代价是命中率高但覆盖窄:只在熟悉的分布里准。
压缩会丢什么?
丢掉例外。压缩追求的是平均最优,不是每个个案最优。所以直觉在常规场景极准,在异常场景极险。
这也是为什么老手容易在新型风险上栽跟头:他的压缩模型里没有这一类。
模型是不是也在做压缩?
是。训练本质就是把海量数据压进参数。所谓泛化,就是压缩得好,能覆盖没见过的输入。
所以模型的能力上限,很大程度取决于压缩方式,而不是数据量。压得对,少数据也能泛化;压得错,再多数据也只是记住。
压缩和记忆谁更重要?
压缩更重要。记忆是原料,压缩是工艺。工艺不行,原料越多越乱。
这也解释了一个现象:知识库堆到几万篇,效果反而不如精选几百篇。因为检索没有压缩,噪音压过了信号。
怎么判断压缩质量?
两个测试。第一,给一个训练分布外的输入,看它是否还能给出合理判断。第二,给一个反直觉的证据,看它是否愿意修正。
两项都过,说明压缩抓住了结构。只过第一项,说明它记住了模式。都不过,说明它只是背了答案。
直觉会不会骗人?
会,而且骗得很自信。因为直觉不给理由,只给结论。没有理由,就无法自查。
所以高风险的判断不能只靠直觉,必须有可验证的依据。直觉可以用来提假设,不能用来下结论。
该训练直觉还是训练推理?
两个都要,但顺序要对。先有推理能力,才知道直觉什么时候不可信;先有直觉,推理才有方向。
只训练推理,会得到一个慢而笨的系统。只训练直觉,会得到一个快而武断的系统。
直觉是压缩,压缩必有损。知道损失在哪,才敢用它。不知道,就会把偏见当洞察。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论