偏见检测

引言 AI系统应该公正、公平，但现实中AI往往继承甚至放大了人类社会已有的偏见。招聘AI偏爱男性、贷款AI歧视少数族裔、面部识别对深色皮肤准确率更低——这些都不是假设，而是已经发生的真实案例。 2026年，AI偏见问题已经从学术讨论走向监管要求和商业风险。本文将系统探讨AI偏见的来源、检测方法和缓解策略。 一、AI偏见的来源 1.1 数据偏见 历史偏见 训练数据反映了历史偏见。 例子: 历史招聘数据中男性占多数 → 模型学习到"男性更适合这份工作" 表示偏见 某些群体在数据中表示不足。 例子: 医学数据集主要来自欧美人群 → 模型对亚非人群的预测不准 标注偏见 标注员的主观偏见影响标注结果。 例子: 标注员认为"愤怒"更常出现在非裔美国人脸上 → 情绪识别模型对黑人更准确标注"愤怒" 1.2 算法偏见 目标函数偏见 优化的目标函数可能隐含偏见。 例子: 优化"点击率" → 模型倾向于推荐极端内容（因为极端内容更容易获得点击） 特征选择偏见 选择的特征可能包含偏见代理变量。 例子: 用"邮政编码"作为特征 → 邮政编码可能高度相关于种族（红线政策后果） 1.3 交互偏见 反馈循环 模型预测影响现实，现实数据又训练模型，形成反馈循环。 例子: 预测性警务系统将更多警力部署到某些社区 → 这些社区犯罪记录更多 → 模型更认为这些社区高风险 → 更多警力... 二、偏见检测 2.1 公平性定义 没有单一的公平性定义，不同定义可能互相冲突。 统计奇偶性（Statistical Parity） 不同群体的正例率相同。 P(Ŷ=1|D=男性) = P(Ŷ=1|D=女性) 机会均等（Equal Opportunity） 不同群体中，实际正例被预测为正例的概率相同。 P(Ŷ=1|Y=1, D=男性) = P(Ŷ=1|Y=1, D=女性) 预测均等（Predictive Parity） 不同群体中，预测为正例的实际正例率相同。 ...