幻觉检测

幻觉：大模型的阿喀琉斯之踵 大模型生成流畅、自信但不正确的文本——这就是幻觉。它不是简单的"错误"，而是模型对不存在事实的"确信"。理解幻觉的成因是构建可靠AI系统的前提。 幻觉的分类 事实性幻觉 vs 忠实性幻觉 HALLUCINATION_TYPES = { "事实性幻觉": { "description": "生成与客观事实不符的内容", "subtypes": { "实体幻觉": "编造不存在的人名、地名、机构", "关系幻觉": "错误描述实体间的关系", "数字幻觉": "编造不准确的统计数据", "时间幻觉": "错误的时间线", "来源幻觉": "编造不存在的引用来源" }, "example": "爱因斯坦于1923年获得诺贝尔物理学奖" # 实际是1921年 }, "忠实性幻觉": { "description": "生成与输入/上下文矛盾的内容", "subtypes": { "指令违背": "没有遵循用户指令", "上下文矛盾": "与给定上下文矛盾", "逻辑矛盾": "自身前后矛盾", "计算错误": "推理过程中计算错误" }, "example": "用户说'不要用Python'，模型回复用Python实现" } } 幻觉的成因 1. 训练数据问题 class DataInducedHallucination: def __init__(self): self.causes = { "数据噪声": { "description": "训练数据本身包含错误信息", "example": "维基百科中的错误事实被学习", "mitigation": "数据清洗和事实核查" }, "知识冲突": { "description": "不同数据源对同一事实有不同表述", "example": "不同网站给出不同的历史日期", "mitigation": "可信度排序和数据源标注" }, "长尾知识不足": { "description": "小众领域数据不足，模型靠猜", "example": "冷门历史事件的细节", "mitigation": "RAG增强" }, "知识过时": { "description": "训练数据有时效性", "example": "模型不知道最新的公司财务数据", "mitigation": "实时检索" } } 2. 解码策略影响 class DecodingInducedHallucination: def analyze(self, model, prompt, strategies): """分析不同解码策略的幻觉率""" results = {} for strategy_name, params in strategies.items(): hallucination_count = 0 for _ in range(100): # 100次采样 response = model.generate(prompt, **params) if self._is_hallucination(response, prompt): hallucination_count += 1 results[strategy_name] = { "hallucination_rate": hallucination_count / 100, "params": params } return results # 典型结果： # greedy (temperature=0): 15% 幻觉率 # temperature=0.3: 18% 幻觉率 # temperature=0.7: 25% 幻觉率 # temperature=1.0: 35% 幻觉率 # top_p=0.9: 22% 幻觉率 # top_k=50: 28% 幻觉率 3. 模型知识表示问题 class KnowledgeRepresentationIssue: """ 模型的知识存储在参数中，不是数据库查询。 这意味着： 1. 知识边界模糊（不知道自己不知道什么） 2. 知识提取不可靠（同样的知识不同问法结果不同） 3. 知识干扰（相关知识互相干扰） """ def measure_knowledge_boundary(self, model, questions): """测量模型的知识边界感知""" results = [] for q in questions: # 让模型评估自己的确定性 response = model.generate(f"{q}\n\n你对答案的确定程度？（1-10）") # 验证答案正确性 is_correct = verify_answer(q, response) confidence = extract_confidence(response) results.append({ "question": q, "correct": is_correct, "confidence": confidence, "calibrated": (is_correct and confidence > 7) or (not is_correct and confidence < 4) }) calibration_rate = sum(r["calibrated"] for r in results) / len(results) return { "calibration_rate": calibration_rate, "over_confident": sum(1 for r in results if not r["correct"] and r["confidence"] > 7), "under_confident": sum(1 for r in results if r["correct"] and r["confidence"] < 4) } 幻觉缓解技术 训练阶段缓解 RLHF中的真实性奖励： ...

引言 幻觉（Hallucination）是大模型最顽固的问题之一。即使是最先进的模型，在回答事实性问题时仍会生成看似合理但完全错误的信息。2026年，随着大模型在更多关键场景中的应用，理解幻觉的根因并有效缓解成为刚需。 幻觉的五大根因 1. 训练数据局限 大模型的知识截止于训练数据，对于训练数据中不存在或过时的信息，模型会通过"推理"生成看似合理的答案。 典型表现： 引用不存在的论文或研究 编造公司或产品 给出过时的法律条款 2. 概率采样本质 语言模型基于概率分布生成文本，其本质是"最可能的下一个词"而非"最正确的事实"。当多个答案在概率上接近时，模型可能选择错误的那个。 3. 过度泛化 模型在训练中学到的一般规律被错误地应用到特定场景，导致"以偏概全"的错误推断。 4. 指令误解 当用户指令模糊或存在歧义时，模型可能以错误的方式理解意图，生成偏离事实的回答。 5. 自洽性缺失 大模型缺乏对自身输出的内在验证机制，无法区分"我知道的"和"我认为可能的"。 2026年主流缓解技术 技术一：RAG增强检索 通过检索外部知识库补充模型的知识，是当前最实用的方案。 # RAG 幻觉缓解流程 def rag_mitigate(query): # 1. 检索相关文档 docs = retriever.search(query, top_k=5) # 2. 相关性过滤 relevant_docs = filter_relevance(docs, query) # 3. 带检索的生成 response = model.generate( prompt=f"基于以下信息回答：{relevant_docs}\n\n问题：{query}" ) # 4. 事实一致性检查 if check_factuality(response, relevant_docs) < threshold: return "我无法确认该信息的准确性" return response 效果： 在事实性问题上的幻觉率降低60-80% 技术二：自我反思（Self-Reflection） 让模型对自己的输出进行二次检查，发现并修正可能的错误。 方法： Chain-of-Verification：先生成答案，再验证每个事实点 Self-Correction：让模型识别自己回答中的矛盾 Multi-Agent Debate：多个Agent相互质疑 技术三：不确定性校准 让模型学会表达"不知道"，而非强行编造答案。 实现方式： 置信度评分：对每个预测输出置信度 拒绝回答：当置信度低于阈值时，明确告知"不确定" 证据标注：要求模型标注每个事实点的来源 技术四：微调与对齐 通过偏好数据微调，让模型更倾向于给出准确而非"有趣"的答案。 ...

幻觉：AGI 之路的隐形地雷 当智能体开始"说话"，它就不可避免地会"说错话"。幻觉（Hallucination）——即模型生成看似合理但与事实不符的内容——是 AGI 领域最棘手的安全问题之一。在聊天场景中，幻觉可能只是一次尴尬的回答；但在智能体场景中，幻觉可能导致错误的工具调用、误导性的决策建议，甚至危险的实际操作。 本文将从幻觉的根源出发，系统性地介绍检测、缓解和修复策略，帮助你构建更可信赖的智能体系统。 一、幻觉的根源：为什么会"胡说八道" 1.1 训练数据层面 大模型的幻觉根源深植于其训练过程中： 训练数据的噪声：互联网数据包含大量错误信息、过时信息和矛盾信息。模型在学习时，不可避免地吸收了这些噪声。当它"回忆"某个事实时，可能提取的是错误版本。 知识截止日期：模型的训练数据有截止日期，但世界在不断变化。模型可能自信地回答一个已经过时的事实——比如一个已经废弃的 API 方法。 长尾知识稀疏：对于常见话题，训练数据丰富，模型表现可靠。但在长尾领域（冷门技术、小众领域），训练数据稀疏，模型更容易通过"编造"来填补空白。 1.2 推理机制层面 自回归生成的本质缺陷：模型逐 token 生成文本，每一步都基于前面的内容。一旦早期生成了一个错误的前提，后续内容会围绕这个错误前提展开，形成"幻觉级联"。 缺乏知识边界感知：模型不知道自己"不知道什么"。它没有可靠机制来判断某个问题是否超出了自己的知识范围，因此倾向于对任何问题都给出回答，而不是说"我不知道"。 概率而非检索：模型生成的是"最可能"的答案，而非"最准确"的答案。在需要精确事实的场景中，这种差异就表现为幻觉。 1.3 智能体场景的特殊幻觉 在智能体场景中，幻觉有了新的表现形式： 工具参数幻觉：模型编造不存在的参数值，或混淆不同工具的参数格式 工具结果误解：工具返回了正确结果，但模型在解读时加入了自己的"想象" 调用链幻觉：模型声称调用了某个工具但实际没有，或编造工具调用的返回结果 上下文遗忘幻觉：在长对话中，模型"忘记"了早期确认的事实，生成与之前矛盾的内容 二、幻觉检测：从规则到模型 2.1 基于规则的检测 最基础的检测层是规则匹配： import re from typing import List, Tuple class RuleBasedHallucinationDetector: def __init__(self): self.rules = [ # 数字一致性检查 self._check_number_consistency, # 实体引用检查 self._check_entity_reference, # 日期合理性检查 self._check_date_validity, # 自相矛盾检查 self._check_self_contradiction, ] def _check_number_consistency(self, claim: str, sources: List[str]) -> List[Tuple[str, float]]: issues = [] # 提取声明中的所有数字 claim_numbers = set(re.findall(r'\d+\.?\d*', claim)) for source in sources: source_numbers = set(re.findall(r'\d+\.?\d*', source)) # 检查声明中的数字是否在来源中出现 for num in claim_numbers: if num not in source_numbers: issues.append(( f"数字 '{num}' 在来源中未找到", 0.7 # 置信度 )) return issues def _check_entity_reference(self, claim: str, entities: dict) -> List[Tuple[str, float]]: issues = [] # 检查声明中提到的实体是否存在于已知实体库 claim_entities = self._extract_entities(claim) for entity in claim_entities: if entity not in entities: issues.append(( f"实体 '{entity}' 不在已知实体库中", 0.6 )) return issues def _check_date_validity(self, claim: str) -> List[Tuple[str, float]]: issues = [] dates = re.findall(r'\d{4}年\d{1,2}月\d{1,2}日', claim) for date_str in dates: # 检查日期是否合理（如未来的日期、不可能的日期） try: from datetime import datetime d = datetime.strptime(date_str, '%Y年%m月%d日') if d.year < 1900 or d.year > 2100: issues.append((f"日期 '{date_str}' 不合理", 0.8)) except ValueError: issues.append((f"日期 '{date_str}' 格式无效", 0.9)) return issues def _check_self_contradiction(self, claim: str, history: List[str]) -> List[Tuple[str, float]]: issues = [] # 简化的矛盾检测：检查是否与历史声明中的数字/日期矛盾 for prev in history: prev_numbers = set(re.findall(r'\d+\.?\d*', prev)) claim_numbers = set(re.findall(r'\d+\.?\d*', claim)) # 如果同一话题但数字不同，可能存在矛盾 overlap = self._semantic_overlap(prev, claim) if overlap > 0.5: if prev_numbers != claim_numbers and prev_numbers and claim_numbers: issues.append(( f"与历史声明可能矛盾: 之前说 {prev_numbers}, 现在说 {claim_numbers}", overlap * 0.8 )) return issues 2.2 基于模型的检测 更高级的检测方案使用专门的模型来判断幻觉： ...