AI的自我反思：当模型开始审视自己的推理过程

# CoT提示的基本形式
prompt = """
Q: 一个商店有23个苹果，卖了17个，又进了12个，现在有多少个？
A: 让我一步步来。
   初始数量：23个
   卖了17个：23 - 17 = 6个
   又进了12个：6 + 12 = 18个
   答案：18个
"""

# 自我一致性方法
def self_consistency_answer(model, question, n_samples=5):
    answers = []
    for _ in range(n_samples):
        # 高温度采样，获得不同推理路径
        reasoning = model.generate(
            f"{question}\n让我们一步步思考：",
            temperature=0.7
        )
        answer = extract_answer(reasoning)
        answers.append(answer)
    
    # 多数投票
    return most_common(answers)

# 自我修正循环
def self_correction(model, question, max_rounds=3):
    # 初始回答
    response = model.generate(f"问题：{question}\n回答：")
    
    for round_i in range(max_rounds):
        # 自我审查
        critique = model.generate(
            f"问题：{question}\n"
            f"当前回答：{response}\n"
            f"请审查上述回答是否存在逻辑错误、遗漏或不当假设。"
        )
        
        if "没有明显问题" in critique:
            break
        
        # 基于审查修正
        response = model.generate(
            f"问题：{question}\n"
            f"原回答：{response}\n"
            f"审查意见：{critique}\n"
            f"修正后的回答："
        )
    
    return response

# 元认知提示框架
METACOGNITIVE_PROMPT = """
对于以下问题，请按元认知框架进行推理：

## 第一层：初步理解
- 我理解的问题是什么？
- 关键约束条件有哪些？
- 我需要什么信息来解答？

## 第二层：策略选择
- 我有哪些可能的解决路径？
- 哪条路径最可能成功？为什么？
- 我对这条路径有多大的信心？（高/中/低）

## 第三层：执行与监控
- [执行推理步骤]
- 每步检查：这一步是否正确？是否符合预期？
- 如果出错：错误的根源是什么？是知识缺失还是推理失误？

## 第四层：反思与修正
- 我的推理过程中最薄弱的环节在哪里？
- 我是否做出了未经证实的假设？
- 如果信心为低，我应该寻求什么额外信息？

## 第五层：元评估
- 我对这个答案的整体信心评估
- 如果错了，最可能错在哪里？
- 下次遇到类似问题，我会如何改进策略？
"""

# 这可能只是模式匹配，而非真正的反思
response = model.generate("审查我的回答是否有错误...")
# 模型可能只是在生成"审查风格"的文本
# 而非真正"审视"了之前的推理

# 实验设计：分离"真反思"与"模式生成"
def test_genuine_reflection(model, problems):
    results = {"genuine": 0, "superficial": 0, "no_reflection": 0}
    
    for problem in problems:
        # 第一轮：让模型回答
        initial_answer = model.generate(problem)
        initial_correct = check_answer(initial_answer, problem.solution)
        
        # 第二轮：给模型一个"假的"错误提示
        # 告诉模型它的答案错了（即使答案是对的）
        fake_critique = "你的推理有误，请重新检查"
        
        revised_answer = model.generate(
            f"问题：{problem}\n原答案：{initial_answer}\n"
            f"反馈：{fake_critique}\n修正："
        )
        revised_correct = check_answer(revised_answer, problem.solution)
        
        # 分类
        if initial_correct and not revised_correct:
            # 原本对的被"假反馈"改错了 → 表面反思
            results["superficial"] += 1
        elif not initial_correct and revised_correct:
            # 原本错的被改对了 → 可能是真反思
            results["genuine"] += 1
        else:
            results["no_reflection"] += 1
    
    return results

# 概念性的AI自我模型
class SelfModel:
    def __init__(self):
        self.capability_profile = {
            "math": 0.85,        # 数学能力自评
            "code": 0.90,        # 编程能力自评
            "creative_writing": 0.75,
            "factual_recall": 0.80,
            "causal_reasoning": 0.65,  # 已知弱项
        }
        self.bias_profile = {
            "recency_bias": 0.72,      # 倾向于更近期的信息
            "authority_bias": 0.68,    # 过度信任权威来源
            "confirmation_bias": 0.61, # 倾向于确认已有假设
        }
        self.uncertainty_calibration = 0.78  # 不确定性校准
        
    def should_attempt(self, task_type, difficulty):
        """基于自我模型判断是否应该尝试"""
        capability = self.capability_profile.get(task_type, 0.5)
        return capability * (1 - difficulty) > 0.3
    
    def what_could_go_wrong(self, task):
        """预测可能的失败模式"""
        risks = []
        if task.type == "causal_reasoning":
            risks.append("可能混淆相关与因果")
        if task.requires_recent_knowledge:
            risks.append("训练数据可能有截止日期问题")
        return risks