内容审核是 AI 落地最容易被低估的场景:看起来只是「判断能不能发」,实际要处理平台规则、法律风险、品牌调性和舆情敏感度四层判断。只做关键词过滤,误杀和漏放都会很多。

内容审核的四层判断是什么?

第一层合规:违法、涉黄、涉暴、涉赌等硬性红线。第二层平台规则:各平台对广告用语、医疗宣称、金融承诺的限制不同。第三层品牌调性:是否符合品牌语气,是否与其他内容冲突。第四层舆情:当前时点是否有敏感话题需要回避。

四层里,机器最擅长第一层,最不擅长第三层和第四层。方案设计要按层分配,不能一把抓。

机器审核应该做到哪一步?

建议机器做到「分级」而不是「裁决」:把内容分成可直接发布、需人工复核、建议修改、禁止发布四档,并给出理由和命中规则。最终裁决留给人。

分级的好处是可统计:每周看复核通过率,就能判断规则是否过严或过松。直接裁决的系统,出了问题无法追溯是哪条规则错了。

误杀和漏放怎么平衡?

两个指标一起看:误杀率(正常内容被拦)和漏放率(违规内容放过)。两者天然矛盾,靠阈值调整,但阈值要按内容类型分。品牌宣传类宁可误杀,用户评论类宁可漏放后补审。

还有个折中办法:低置信度的内容不拦,但打标进入人工队列,同时限流不推荐。既不误伤,也不放任。

规则库怎么维护?

三条:每条规则写清来源(法规条款或平台文档)、生效时间、适用范围;每月复盘一次命中数据,清理失效规则;新规则先灰度一周,看误杀率再全量。

规则库是资产,要有版本号。没有版本管理的规则库,半年后没人敢改,因为不知道改了会影响什么。

落地时最常见的坑是什么?

拿一份通用词库直接上线,不做行业适配。医疗、教育、金融、电商四个行业的敏感词差别极大,通用词库在这四个行业里误杀率都很高。

正确做法是先用历史内容跑一遍,把误杀样本挑出来,逐条加白名单,再上线。这一步通常要两天,能省下上线后两周的投诉处理。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论