GAIA Benchmark 解读：通用AI助手的高考试卷

问题：在2024年奥斯卡颁奖典礼上，最佳导演获奖者的导演处女作是什么电影？
需要步骤：
1. 搜索2024奥斯卡最佳导演
2. 查找该导演的处女作
预计耗时：人类约30秒

问题：找到附件PDF中提到的所有公司，查询这些公司2023年的营收，
      按营收从高到低排列，输出CSV格式。
需要步骤：
1. 解析PDF内容
2. 提取公司名称
3. 逐一搜索营收数据
4. 排序并格式化输出
预计耗时：人类约5分钟

问题：分析过去10年全球AI论文发表趋势，
      按国家和技术领域分类，
      生成可视化报告并预测2027年趋势。
需要步骤：
1. 搜索多个数据源
2. 爬取和解析论文数据
3. 数据清洗和分类
4. 统计分析
5. 生成图表
6. 撰写分析报告
预计耗时：人类约2小时

# 问题：查找某公司CEO的大学专业
# 错误路径：调用通用搜索 → 搜索"CEO大学" → 结果不相关
# 正确路径：调用知识库搜索CEO → 获取个人信息 → 搜索该人教育背景

# 典型失败模式
Step 1-5: 正确收集数据
Step 6-8: 深入某个子问题，偏离主线
Step 9-15: 试图纠正，但上下文已混淆
Step 16: 放弃，输出不完整答案

失败率统计：
- PDF解析：35%失败（表格提取错误）
- Excel处理：28%失败（公式理解错误）
- 图片OCR：22%失败（手写体识别）
- 音频转写：15%失败（多人对话区分）

def solve_with_verification(question):
    plan = planner.generate(question)
    
    for step in plan:
        result = executor.run(step)
        
        # 每步验证
        if not verifier.check(step, result):
            # 回退并重新规划
            plan = planner.replan(question, completed_steps, failed_step)
            continue
    
    return final_assemble()

# 专用工具比通用工具效果更好
tools = [
    PDFParser(mode="table_aware"),  # 专门的表格感知PDF解析
    ExcelReader(formula_aware=True),  # 理解Excel公式
    WebSearch(engine="google", top_k=5),  # 限制结果数量
    Calculator(precision="high"),  # 高精度计算
]

# 滑动窗口 + 摘要
def manage_context(steps, max_tokens=8000):
    if total_tokens(steps) > max_tokens:
        old_steps = steps[:-3]
        summary = summarize(old_steps)
        return [summary] + steps[-3:]
    return steps