AI测评 | AI 实战派 · 从技术到赚钱

Agent能力评估框架：从单任务到多任务综合评测

为什么Agent评估比LLM评估更难 LLM评估可以简化为"输入→输出→对比"，因为LLM是单轮的。但Agent是多步、多工具、有状态的，评估维度爆炸式增长：不仅看最终答案对不对，还要看过程是否合理不仅看单任务表现，还要看跨任务迁移能力不仅看成功率，还要看效率、成本、安全性本文构建一个从单任务到多任务的综合评估框架。第一层：单任务评测任务级指标矩阵 from dataclasses import dataclass, field from typing import Any from enum import Enum class MetricCategory(Enum): ACCURACY = "准确性" EFFICIENCY = "效率" SAFETY = "安全性" ROBUSTNESS = "鲁棒性" @dataclass class TaskMetric: name: str category: MetricCategory value: float weight: float = 1.0 description: str = "" @dataclass class TaskResult: task_id: str task_type: str success: bool metrics: list[TaskMetric] = field(default_factory=list) steps_taken: int = 0 tools_used: list[str] = field(default_factory=list) error_log: list[str] = field(default_factory=list) def weighted_score(self) -> float: total_weight = sum(m.weight for m in self.metrics) weighted_sum = sum(m.value * m.weight for m in self.metrics) return weighted_sum / total_weight if total_weight > 0 else 0.0 核心指标定义指标计算方式说明任务成功率成功次数/总次数基础指标步骤效率最优步数/实际步数 0-1，越高越好工具选择准确率正确工具调用/总调用反映工具使用能力格式合规率格式正确输出/总输出结构化输出能力错误恢复率恢复成功次数/错误次数容错能力成本效率最优成本/实际成本 token消耗评估安全违规率违规次数/总次数越低越好评测执行框架 import asyncio from abc import ABC, abstractmethod class TaskEvaluator(ABC): @abstractmethod async def evaluate(self, agent, task) -> TaskResult: pass class CodeGenerationEvaluator(TaskEvaluator): async def evaluate(self, agent, task) -> TaskResult: # 执行Agent result = await agent.run(task["prompt"]) metrics = [] # 1. 功能正确性（单元测试通过率） test_pass = await self._run_tests(result.code, task["test_cases"]) metrics.append(TaskMetric( name="functional_correctness", category=MetricCategory.ACCURACY, value=test_pass, weight=2.0 )) # 2. 步骤效率 optimal_steps = task.get("optimal_steps", 3) actual_steps = result.steps efficiency = min(optimal_steps / actual_steps, 1.0) if actual_steps > 0 else 0 metrics.append(TaskMetric( name="step_efficiency", category=MetricCategory.EFFICIENCY, value=efficiency, weight=1.0 )) # 3. 代码质量（LLM-as-Judge） quality_score = await self._llm_judge( result.code, criteria=["可读性", "性能", "安全性"] ) metrics.append(TaskMetric( name="code_quality", category=MetricCategory.ACCURACY, value=quality_score, weight=1.5 )) # 4. 安全检查 violations = self._check_safety(result.code) metrics.append(TaskMetric( name="safety_compliance", category=MetricCategory.SAFETY, value=1.0 - violations / max(len(result.code.split("\n")), 1), weight=1.0 )) return TaskResult( task_id=task["id"], task_type="code_generation", success=test_pass > 0.8, metrics=metrics, steps_taken=actual_steps, tools_used=result.tools_used, error_log=result.errors ) async def _run_tests(self, code: str, test_cases: list) -> float: passed = 0 for tc in test_cases: try: result = self._execute_code(code, tc["input"]) if result == tc["expected"]: passed += 1 except Exception: pass return passed / len(test_cases) if test_cases else 0 async def _llm_judge(self, code: str, criteria: list[str]) -> float: prompt = f"评估以下代码质量，维度{criteria}，给出0-1的分数:\n{code}" score = await judge_llm(prompt) return score 第二层：多任务综合评测能力维度模型 class CapabilityModel: """Agent能力维度定义""" CAPABILITIES = { "reasoning": "逻辑推理", "coding": "代码生成", "extraction": "信息抽取", "planning": "任务规划", "tool_use": "工具使用", "creativity": "创意生成", "safety": "安全合规", "multilingual": "多语言能力" } def __init__(self): self.dimension_scores: dict[str, list[float]] = { dim: [] for dim in self.CAPABILITIES } def add_result(self, capability: str, score: float): if capability in self.dimension_scores: self.dimension_scores[capability].append(score) def aggregate(self) -> dict[str, float]: return { dim: sum(scores) / len(scores) if scores else 0.0 for dim, scores in self.dimension_scores.items() } 雷达图生成 import numpy as np class RadarChart: def __init__(self, capabilities: dict[str, float]): self.capabilities = capabilities self.angles = np.linspace(0, 2 * np.pi, len(capabilities), endpoint=False).tolist() self.angles += self.angles[:1] def to_plotly_data(self) -> dict: values = list(self.capabilities.values()) values += values[:1] return { "type": "scatterpolar", "r": values, "theta": list(self.capabilities.keys()) + [list(self.capabilities.keys())[0]], "fill": "toself", "name": "Agent能力" } 跨任务迁移评测 class TransferEvaluator: """评估Agent的跨任务迁移能力""" async def evaluate_transfer(self, agent, source_task: dict, target_task: dict) -> float: """在源任务上训练/调整后，在目标任务上的表现""" # 1. 记录基线表现 baseline = await self._run_task(agent, target_task) # 2. 在源任务上的经验 await self._run_task(agent, source_task) # 3. 再测目标任务 after = await self._run_task(agent, target_task) # 4. 迁移增益 transfer_gain = after - baseline # 5. 归一化 max_possible = 1.0 - baseline normalized = transfer_gain / max_possible if max_possible > 0 else 0 return normalized 第三层：系统级评估长期稳定性评测 from collections import defaultdict import statistics class StabilityMonitor: def __init__(self, window_size: int = 100): self.window_size = window_size self.results: dict[str, list[float]] = defaultdict(list) def record(self, task_type: str, score: float): self.results[task_type].append(score) if len(self.results[task_type]) > self.window_size: self.results[task_type].pop(0) def get_stability_metrics(self) -> dict[str, dict]: metrics = {} for task_type, scores in self.results.items(): if len(scores) < 10: continue metrics[task_type] = { "mean": statistics.mean(scores), "stdev": statistics.stdev(scores), "min": min(scores), "max": max(scores), "cv": statistics.stdev(scores) / statistics.mean(scores) if statistics.mean(scores) > 0 else 0, "trend": self._trend(scores) } return metrics def _trend(self, scores: list[float]) -> str: if len(scores) < 5: return "insufficient_data" first_half = statistics.mean(scores[:len(scores)//2]) second_half = statistics.mean(scores[len(scores)//2:]) if second_half > first_half * 1.05: return "improving" elif second_half < first_half * 0.95: return "declining" return "stable" 评测报告模板 def generate_eval_report(agent_name: str, results: list[TaskResult]) -> str: capability = CapabilityModel() for r in results: # 映射任务类型到能力维度 dim_map = { "code_generation": "coding", "logical_reasoning": "reasoning", "information_extraction": "extraction", "task_planning": "planning" } dim = dim_map.get(r.task_type, "reasoning") capability.add_result(dim, r.weighted_score()) scores = capability.aggregate() report = f"""# Agent评测报告: {agent_name} ## 总览 - 评测任务数: {len(results)} - 平均得分: {sum(r.weighted_score() for r in results)/len(results):.2f} - 整体成功率: {sum(r.success for r in results)/len(results):.1%} ## 能力雷达 {scores} ## 详细指标 | 任务类型 | 成功率 | 平均步骤 | 平均得分 | |----------|--------|----------|----------| """ by_type = {} for r in results: by_type.setdefault(r.task_type, []).append(r) for ttype, task_results in by_type.items(): success_rate = sum(r.success for r in task_results) / len(task_results) avg_steps = sum(r.steps_taken for r in task_results) / len(task_results) avg_score = sum(r.weighted_score() for r in task_results) / len(task_results) report += f"| {ttype} | {success_rate:.1%} | {avg_steps:.1f} | {avg_score:.2f} |\n" return report 评测集构建原则原则说明示例覆盖性覆盖所有能力维度每个维度≥20题难度梯度简单/中等/困难均匀 3:5:2比例防污染避免训练数据泄露用私有数据集可扩展支持动态新增模块化任务定义可复现固定随机种子 temperature=0 总结 Agent评估是一个多层次工程：单任务看指标，多任务看雷达，长期看稳定性。核心原则： ...

CrewAI vs AutoGen：多Agent框架的2026年对比

引言多Agent协作是2025-2026年AI工程领域最热门的方向之一。当单个Agent的能力边界逐渐显现，“多个专精Agent分工协作"的范式开始被广泛采纳。在这一赛道上，CrewAI和AutoGen是两个最具代表性的开源框架。本文将从架构、开发体验、性能、生产就绪度等多个维度进行深度对比。框架概览 CrewAI CrewAI由João Moura在2023年底创建，核心理念是角色驱动的Agent协作。你定义一个"团队”（Crew），其中每个Agent有明确的角色、目标和背景故事，然后给他们分配任务。 from crewai import Agent, Task, Crew, Process # 定义角色 researcher = Agent( role="市场研究员", goal="收集并分析目标市场的竞争格局", backstory="你是拥有10年经验的市场分析师，擅长数据驱动的竞争分析", tools=[search_tool, web_scraper], llm="gpt-5", ) writer = Agent( role="技术作家", goal="将研究结果转化为清晰的市场分析报告", backstory="你曾在McKinsey担任商业分析师，擅长结构化写作", llm="claude-4.5-sonnet", ) # 定义任务 research_task = Task( description="分析中国电动车市场2026年Q1竞争格局", expected_output="包含市场份额、关键玩家、技术趋势的结构化数据", agent=researcher, ) report_task = Task( description="基于研究结果撰写市场分析报告", expected_output="2000字的商业分析报告，包含图表建议和战略建议", agent=writer, context=[research_task], # 依赖前置任务 ) # 组建团队并执行 crew = Crew( agents=[researcher, writer], tasks=[research_task, report_task], process=Process.sequential, ) result = crew.kickoff() AutoGen AutoGen由微软研究院开发，核心理念是对话驱动的Agent协作。Agent之间通过消息传递进行交互，支持更灵活的协作模式。 from autogen import AssistantAgent, UserProxyAgent, GroupChat, GroupChatManager # 创建Agent market_analyst = AssistantAgent( name="市场分析师", system_message="你是市场分析专家。分析市场数据并提供洞察。" "回复格式：TERMINATE 表示任务完成。", llm_config={"model": "gpt-5"}, ) data_scientist = AssistantAgent( name="数据科学家", system_message="你是数据分析专家。负责数据处理、统计分析和可视化建议。" "回复格式：TERMINATE 表示任务完成。", llm_config={"model": "gpt-5"}, ) reviewer = AssistantAgent( name="审阅者", system_message="你是报告审阅者。检查报告质量，确认无误后回复 TERMINATE。", llm_config={"model": "claude-4.5-sonnet"}, ) user_proxy = UserProxyAgent( name="用户", human_input_mode="NEVER", code_execution_config={"work_dir": "workspace"}, ) # 创建群聊 group_chat = GroupChat( agents=[user_proxy, market_analyst, data_scientist, reviewer], messages=[], max_round=15, ) manager = GroupChatManager(groupchat=group_chat) # 启动对话 user_proxy.initiate_chat( manager, message="分析中国电动车市场2026年Q1竞争格局并生成报告", ) 架构对比核心设计哲学维度 CrewAI AutoGen 协作模式角色+任务驱动对话驱动控制流显式（任务依赖图）隐式（对话轮次） Agent定义声明式（角色/目标/背景）编程式（系统消息+配置）状态管理任务状态机消息历史可扩展性通过工具扩展通过Agent类型扩展控制流设计 CrewAI采用显式流程控制，开发者通过Process定义Agent之间的协作模式： ...

Haystack 2.0实战：生产级RAG框架的架构设计

引言在RAG（检索增强生成）框架的赛道上，Haystack 2.0是一个容易被忽视但值得认真对待的选择。由deepset开发的Haystack没有LangChain那样的营销声量，但在生产环境的稳定性和架构设计上有着独特的优势。2026年的Haystack 2.0版本经过完全重构，已经成为构建生产级RAG系统的强力选择。架构设计哲学 Haystack 2.0的核心设计理念是管道即代码（Pipeline as Code）——每个RAG系统都是一个由组件构成的DAG（有向无环图），组件之间通过类型化的连接传递数据。文档输入 → 文档分割 → 嵌入生成 → 向量存储 ↓ 用户查询 → 查询嵌入 → 向量检索 → 重排序 → Prompt组装 → LLM生成 → 答案输出与LangChain的Chain抽象不同，Haystack的Pipeline是真正有向图，支持分支、合并、循环等复杂拓扑。核心组件解析 1. Document Store Haystack 2.0将文档存储抽象为统一接口，支持多种后端： from haystack.document_stores import ( ChromaDocumentStore, QdrantDocumentStore, ElasticsearchDocumentStore, PgVectorDocumentStore, ) # 使用Qdrant作为向量数据库 document_store = QdrantDocumentStore( host="localhost", port=6333, index="documents", embedding_dim=1024, recreate_index=False, metadata_indexed_fields=["source", "date", "category"], # Qdrant特有的payload过滤 on_disk_payload=True, optimizers_config={"indexing_threshold": 20000}, ) 2. Retriever 检索器是RAG系统的核心，Haystack支持多种检索策略的即插即用： from haystack.components.retrievers import ( QdrantEmbeddingRetriever, QdrantHybridRetriever, BM25Retriever, ) # 纯向量检索 embedding_retriever = QdrantEmbeddingRetriever( document_store=document_store, top_k=20, filters={"field": "category", "operator": "==", "value": "technical"}, ) # 混合检索（向量+关键词） hybrid_retriever = QdrantHybridRetriever( document_store=document_store, top_k=20, # Dense和Sparse检索结果融合 fusion_algorithm="reciprocal_rank_fusion", rrf_k=60, ) 3. Ranker 重排序是提升RAG精度的关键步骤： ...

LLM自动化评测系统：构建持续监控的评估管线

为什么需要自动化评测管线 LLM上线后并非一劳永逸——模型供应商的静默更新、prompt的迭代、工具接口的变化，都可能导致线上效果漂移。人工评测周期长、成本高、不可重复。自动化评测管线是保障线上质量的唯一可行路径。一条完整的评测管线应该做到：定时执行、自动评分、异常告警、趋势可视化。整体架构 ┌─────────────┐ ┌──────────────┐ ┌─────────────┐ │ 测试集仓库 │───→│ 评测调度器 │───→│ 评测执行器 │ │ (Git) │ │ (Cron/CI) │ │ (Parallel) │ └─────────────┘ └──────────────┘ └──────┬──────┘ │ ┌───────────────────────┘ ↓ ┌────────────────┐ ┌──────────────┐ │ 评分引擎 │───→│ 结果存储 │ │ (Multi-Judge) │ │ (Timeseries)│ └────────────────┘ └──────┬───────┘ │ ┌───────────┼───────────┐ ↓ ↓ ↓ ┌────────┐ ┌────────┐ ┌────────┐ │ 告警 │ │ 仪表盘 │ │ 报告 │ │(Alert) │ │(Grafana)│ │(Report)│ └────────┘ └────────┘ └────────┘ 测试集管理测试集结构 from pydantic import BaseModel, Field from typing import Any from enum import Enum import json class Difficulty(Enum): EASY = "easy" MEDIUM = "medium" HARD = "hard" class TestCategory(Enum): REASONING = "reasoning" CODING = "coding" SAFETY = "safety" INSTRUCTION_FOLLOWING = "instruction_following" class TestCase(BaseModel): id: str category: TestCategory difficulty: Difficulty prompt: str expected_output: str | None = None # 精确匹配 expected_pattern: str | None = None # 正则匹配 evaluator_config: dict = Field(default_factory=dict) # 评测器特定配置 tags: list[str] = [] metadata: dict = {} class TestSuite(BaseModel): name: str version: str description: str cases: list[TestCase] def to_file(self, path: str): with open(path, "w", encoding="utf-8") as f: json.dump(self.model_dump(), f, ensure_ascii=False, indent=2) # 构建测试集 suite = TestSuite( name="core-abilities-v2", version="2.1.0", description="核心能力评测集", cases=[ TestCase( id="reason_001", category=TestCategory.REASONING, difficulty=Difficulty.MEDIUM, prompt="一个房间有3个开关控制隔壁房间的3盏灯。你只能去隔壁房间一次。如何确定每个开关对应哪盏灯？", expected_output="打开开关1等5分钟，关掉开关1打开开关2，去隔壁房间。亮的灯对应开关2，摸起来热的对应开关1，凉的对应开关3。", evaluator_config={"method": "llm_judge", "criteria": "逻辑正确性"}, tags=["logic", "puzzle"] ), TestCase( id="code_001", category=TestCategory.CODING, difficulty=Difficulty.EASY, prompt="写一个Python函数，输入列表返回第二大的元素", expected_pattern=r"def\s+\w+$.*$.*:.*\n.*return.*\n", evaluator_config={"method": "unit_test", "test_function": "find_second_largest"}, tags=["python", "algorithm"] ) ] ) 评测执行器并行执行框架 import asyncio from dataclasses import dataclass from datetime import datetime @dataclass class EvaluationContext: model_name: str model_version: str temperature: float test_suite_name: str test_suite_version: str run_id: str timestamp: str class ParallelEvaluator: def __init__(self, llm_client, max_concurrent: int = 10): self.llm = llm_client self.semaphore = asyncio.Semaphore(max_concurrent) async def run_suite(self, suite: TestSuite, ctx: EvaluationContext) -> list[dict]: tasks = [ self._run_single(case, ctx) for case in suite.cases ] results = await asyncio.gather(*tasks, return_exceptions=True) return [r for r in results if not isinstance(r, Exception)] async def _run_single(self, case: TestCase, ctx: EvaluationContext) -> dict: async with self.semaphore: start = datetime.now() # 调用LLM response = await self.llm.chat( model=ctx.model_name, messages=[{"role": "user", "content": case.prompt}], temperature=ctx.temperature ) elapsed = (datetime.now() - start).total_seconds() # 评测 score, detail = await self._evaluate(case, response) return { "case_id": case.id, "category": case.category.value, "difficulty": case.difficulty.value, "response": response, "score": score, "detail": detail, "latency_s": elapsed, "input_tokens": response.usage.prompt_tokens, "output_tokens": response.usage.completion_tokens, "run_id": ctx.run_id } async def _evaluate(self, case: TestCase, response) -> tuple[float, dict]: method = case.evaluator_config.get("method", "exact") if method == "exact": return self._exact_match(response.content, case.expected_output), {"method": "exact"} elif method == "regex": return self._regex_match(response.content, case.expected_pattern), {"method": "regex"} elif method == "llm_judge": return await self._llm_judge(response.content, case.evaluator_config) elif method == "unit_test": return await self._unit_test(response.content, case.evaluator_config) return 0.0, {"error": "unknown method"} async def _llm_judge(self, response: str, config: dict) -> tuple[float, dict]: criteria = config.get("criteria", "正确性") judge_prompt = f"""请评估以下回答的质量，维度: {criteria} 回答: {response} 评分标准: - 0.0-0.3: 完全错误 - 0.4-0.6: 部分正确，有缺陷 - 0.7-0.8: 基本正确，小瑕疵 - 0.9-1.0: 完全正确且优秀只输出一个0到1的浮点数。""" judge_resp = await self.llm.chat( model="gpt-4o", messages=[{"role": "user", "content": judge_prompt}], temperature=0.0 ) try: score = float(judge_resp.content.strip()) except ValueError: score = 0.0 return score, {"method": "llm_judge", "raw": judge_resp.content} 结果存储与趋势分析时序数据存储 from dataclasses import asdict import sqlite3 import json from datetime import datetime class EvalResultStore: def __init__(self, db_path: str = "eval_results.db"): self.conn = sqlite3.connect(db_path) self._init_db() def _init_db(self): self.conn.execute(""" CREATE TABLE IF NOT EXISTS eval_results ( run_id TEXT, case_id TEXT, category TEXT, difficulty TEXT, score REAL, latency_s REAL, input_tokens INTEGER, output_tokens INTEGER, model_name TEXT, model_version TEXT, test_suite TEXT, timestamp TEXT, detail TEXT ) """) self.conn.execute(""" CREATE INDEX IF NOT EXISTS idx_run ON eval_results(run_id) """) self.conn.commit() def save(self, results: list[dict]): for r in results: self.conn.execute( "INSERT INTO eval_results VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,?)", (r["run_id"], r["case_id"], r["category"], r["difficulty"], r["score"], r["latency_s"], r["input_tokens"], r["output_tokens"], r.get("model_name",""), r.get("model_version",""), r.get("test_suite",""), datetime.now().isoformat(), json.dumps(r["detail"])) ) self.conn.commit() def get_trend(self, category: str, days: int = 30) -> list[dict]: rows = self.conn.execute(""" SELECT date(timestamp) as date, avg(score) as avg_score, count(*) as n, avg(latency_s) as avg_latency FROM eval_results WHERE category = ? AND timestamp >= date('now', ?) GROUP BY date(timestamp) ORDER BY date """, (category, f"-{days} days")).fetchall() return [{"date": r[0], "score": r[1], "count": r[2], "latency": r[3]} for r in rows] 告警系统漂移检测与告警 from collections import deque import statistics class DriftAlerter: def __init__(self, config: dict): self.window = deque(maxlen=config.get("window_size", 50)) self.threshold = config.get("threshold", 0.05) self.alert_channels = config.get("channels", []) self.category_baselines: dict[str, float] = {} def set_baseline(self, category: str, score: float): self.category_baselines[category] = score async def check(self, results: list[dict]): category_scores = {} for r in results: cat = r["category"] category_scores.setdefault(cat, []).append(r["score"]) alerts = [] for cat, scores in category_scores.items(): avg = statistics.mean(scores) baseline = self.category_baselines.get(cat) if baseline and (baseline - avg) > self.threshold: alerts.append({ "severity": "warning", "category": cat, "baseline": baseline, "current": avg, "drop": baseline - avg, "message": f"类别 {cat} 得分从 {baseline:.3f} 下降到 {avg:.3f}" }) # 绝对值告警 if avg < 0.5: alerts.append({ "severity": "critical", "category": cat, "current": avg, "message": f"类别 {cat} 得分低于0.5: {avg:.3f}" }) for alert in alerts: await self._send_alert(alert) return alerts async def _send_alert(self, alert: dict): for channel in self.alert_channels: if channel["type"] == "webhook": await self._send_webhook(channel["url"], alert) elif channel["type"] == "email": await self._send_email(channel["address"], alert) 调度器：CI/CD集成 Cron + GitHub Actions混合调度 # .github/workflows/llm-eval.yml name: LLM Evaluation Pipeline on: schedule: - cron: "0 2,14 * * *" # 每天2:00和14:00执行 workflow_dispatch: {} # 手动触发 jobs: evaluate: runs-on: ubuntu-latest steps: - uses: actions/checkout@v4 - name: Setup Python uses: actions/setup-python@v5 with: python-version: "3.12" - name: Install Dependencies run: pip install -r eval/requirements.txt - name: Run Evaluation env: OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }} ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }} run: | python -m eval.pipeline \ --suite test-suites/core-abilities-v2.json \ --models config/models.yaml \ --output results/$(date +%Y%m%d_%H%M).json - name: Check Alerts run: python -m eval.alerter --results results/*.json - name: Update Dashboard if: always() run: python -m eval.dashboard --update --results results/*.json - name: Upload Results if: always() uses: actions/upload-artifact@v4 with: name: eval-results path: results/ 仪表盘指标指标类型说明各类别平均分时序线图趋势监控评分分布直方图离散度分析延迟P50/P95 时序线图性能监控 Token消耗柱状图成本监控告警次数计数器质量监控通过率百分比合规监控总结自动化评测管线是LLM系统的"免疫系统"。核心设计要点： ...

人工评估在AI系统中的角色：互补还是替代？

引言：评估困境大语言模型的能力边界正在以前所未有的速度扩展，但我们的评估手段是否跟上了？当GPT-4级别的模型在MMLU上得分超过90%的人类水平时，传统的基准测试正在失去区分度。2026年，AI社区面临一个核心问题：自动评估能否完全取代人工评估？答案是否定的。但原因远比"人更聪明"复杂得多。自动评估的现状与局限主流自动评估方法当前AI系统评估主要依赖以下几条路径：评估方法代表工具优势局限标准基准测试 MMLU, HumanEval, GSM8K 可复现、成本低数据泄露、区分度下降 LLM-as-Judge GPT-4裁判模型可扩展、有一定语义理解偏好偏差、位置效应偏好对评估 Chatbot Arena ELO 反映真实用户偏好覆盖面有限、噪声大自动化指标 BLEU, ROUGE, BERTScore 快速、无需人工与人类判断相关性弱 LLM-as-Judge的系统性偏差 LLM-as-Judge在2025年被广泛采用，但研究揭示了多个系统性问题： # LLM-as-Judge位置偏差实验示例 import json from openai import OpenAI client = OpenAI() def judge_with_position_swap(question, answer_a, answer_b): """通过交换回答顺序检测位置偏差""" prompt_original = f"问题：{question}\n回答A：{answer_a}\n回答B：{answer_b}\n哪个更好？" prompt_swapped = f"问题：{question}\n回答A：{answer_b}\n回答B：{answer_a}\n哪个更好？" result_original = client.chat.completions.create( model="gpt-4", messages=[{"role": "user", "content": prompt_original}] ).choices[0].message.content result_swapped = client.chat.completions.create( model="gpt-4", messages=[{"role": "user", "content": prompt_swapped}] ).choices[0].message.content # 如果两次判断不一致，说明存在位置偏差 return { "original": result_original, "swapped": result_swapped, "consistent": result_original.replace("A","B").replace("B","A") == result_swapped } 实验数据显示，GPT-4作为裁判时，位置偏差率约为15-20%。这意味着在近五分之一的判断中，仅交换回答顺序就会改变裁判结论。人工评估的不可替代价值 1. 细粒度质量感知人工评估能够捕捉自动评估遗漏的质量维度：语气与风格适配：同一事实信息，面向儿童和面向专家的表达方式截然不同隐含意图理解：用户说"这个方案看起来挺激进的"，人工评估者能判断这是赞美还是担忧文化敏感度：涉及文化背景的表达，自动评估往往力不从心创造性评估：创意写作、头脑风暴等开放任务的"好"与"不好"极难自动化 2. 安全性与对齐评估在安全评估领域，人工评估的角色更为关键： ...

AI Agent测试自动化：从单元测试到端到端验证

Agent测试的困境传统软件测试基于"输入→确定输出"的假设。但Agent的输出由LLM驱动，具有非确定性——同一输入可能产生不同输出。这要求我们重新思考测试方法论。测试分层架构第一层：确定性单元测试测试Agent中确定性的组件： def test_tool_schema_validation(): """测试工具参数验证""" tool = SearchTool() # 有效参数 assert tool.validate({"query": "test"}) == True # 无效参数 assert tool.validate({}) == False # 缺少必需参数 assert tool.validate({"query": 123}) == False # 类型错误 def test_state_management(): """测试状态管理逻辑""" state = AgentState() state.update({"intent": "qa", "slots": {"topic": "AI"}}) assert state.intent == "qa" assert state.missing_slots == [] 覆盖率目标： 90%+（这些组件与普通软件无异）第二层：Prompt单元测试测试特定Prompt的输出质量： def test_classification_prompt(): """测试分类Prompt的准确性""" test_cases = [ ("帮我订机票", "booking"), ("今天天气", "weather"), ("写一首诗", "creative"), ("什么是量子力学", "qa"), ] for query, expected_intent in test_cases: result = llm.classify(query) assert result.intent == expected_intent 挑战： LLM输出非确定，可能偶尔失败解决：设置通过率阈值（如95%通过即算PASS） def test_with_pass_rate(test_cases, threshold=0.95): passed = sum(1 for tc in test_cases if run_test(tc)) rate = passed / len(test_cases) assert rate >= threshold, f"通过率{rate}低于阈值{threshold}" 第三层：工具集成测试测试LLM+工具的组合行为： async def test_tool_selection(): """测试Agent能否选择正确的工具""" agent = Agent(tools=[search_tool, calc_tool, file_tool]) # 应选择search_tool result = await agent.run("搜索AI最新新闻") assert result.tool_used == "search_tool" # 应选择calc_tool result = await agent.run("计算17乘以23") assert result.tool_used == "calc_tool" 第四层：端到端测试测试完整Agent行为： async def test_e2e_qa_agent(): """端到端测试问答Agent""" agent = QAAgent(knowledge_base=test_kb) test_cases = [ { "question": "公司的年假政策是什么？", "must_contain": ["年假", "天"], # 答案必须包含的关键词 "must_not_contain": ["不知道", "无法回答"], # 不应包含 }, { "question": "病假怎么申请？", "must_contain": ["病假", "申请"], "must_not_contain": [], } ] for tc in test_cases: answer = await agent.run(tc["question"]) for keyword in tc["must_contain"]: assert keyword in answer, f"答案应包含'{keyword}'" for keyword in tc["must_not_contain"]: assert keyword not in answer, f"答案不应包含'{keyword}'" 第五层：回归测试确保Agent更新后不退化： ...

大模型推理引擎横评：vLLM、SGLang、TensorRT-LLM

推理引擎：LLM服务的核心基础设施模型只是"大脑"，推理引擎是"神经系统"——它决定了模型服务能多快、能并发多少请求、成本多低。选对推理引擎，单GPU的吞吐量差异可达5-10倍。三大主流引擎 vLLM：社区标准架构特点： PagedAttention：操作系统级KV Cache管理 Continuous Batching：迭代级动态批处理纯Python实现（核心算子用CUDA/Triton）支持大多数主流开源模型核心技术：PagedAttention 传统KV Cache: 请求A: [已分配 5/5 blocks] [等待分配...] 请求B: [已分配 3/3 blocks] → 内存碎片化，浪费30-60% PagedAttention: Block Pool: [A1][B1][A2][C1][B2][A3]... 每个请求通过页表映射到物理block → 零碎片，内存利用率接近100% 性能特征：吞吐量：比HuggingFace Transformers高24倍首token延迟：中等显存利用率：90%+ 支持多模型共享GPU 优势：社区支持最广，几乎所有模型首发支持部署简单（一行命令启动）持续迭代，功能快速扩展劣势：纯Python实现，某些热路径不如C++优化不支持一些极致优化（如FP8推理）调度策略相对简单 SGLang：结构化生成之王架构特点：前缀缓存（Prefix Caching）：跨请求共享计算程序化生成：支持结构化输出约束原生支持JSON/正则约束 C++核心，Python接口核心技术：RadixAttention 请求1: "system: 你是助手\nuser: 天气" → 缓存KV Cache 请求2: "system: 你是助手\nuser: 股票" → 复用"system: 你是助手\n"的前缀KV Cache → 只需计算新的部分多请求共享相同system prompt时，前缀缓存可节省50%+计算。 ...

大模型评测方法论：从Benchmark到真实场景评估

评测的困境 “我们的模型在XX基准上达到SOTA”——这句话在2026年越来越没有信息量。原因是：Benchmark污染严重、评测指标与真实能力脱节、静态基准跟不上模型进化速度。我们需要更可靠的评测方法论。知识评测基准通用知识基准领域题量说明 MMLU 多学科 14K 大学级别多选题 CMMLU 中文多学科 11K MMLU中文版 C-Eval 中文多学科 14K 中国大学考试 AGIEval 多语言多套 SAT/GRE/公务员考试专业领域 MedQA：医学问答 LegalBench：法律推理 HumanEval：代码生成 GSM8K：小学数学 MATH：竞赛数学局限性数据污染：基准题库泄露到训练数据中，模型"背答案"而非"推理" 选择题局限：多选题≠真实能力，模型可以猜静态性：基准固定后，模型针对性优化导致分数虚高能力评测推理能力 BBH（Big Bench Hard）： 23个有挑战性的推理任务涵盖逻辑、数学、因果推理模型需要多步推理 GPQA（Google-Proof Q&A）：研究生级别科学问题即使专家在无搜索工具帮助下也难以回答测试模型深度知识代码能力 HumanEval：经典Python代码生成基准，但过于简单。 SWE-bench：真实GitHub issue解决 Agent需要定位代码、修改、通过测试最接近真实编程能力评测 LiveCodeBench：持续更新的编程竞赛题避免数据污染测试实时编程能力数学推理 MATH：竞赛级数学题，要求详细证明过程。 AIME：美国数学竞赛题，极高难度。趋势：数学评测从"算对"转向"推理过程正确"。新评测不仅看答案，还检查推理步骤。多模态 MMMU：大学级别多模态理解，覆盖30个学科。 MMBench：多维度多模态能力评估。 MathVista：视觉数学推理。动态评测方法对抗性评测 Chatbot Arena： ...

AI红队测试方法论：系统化发现模型安全漏洞

什么是AI红队测试？红队测试（Red Teaming）源自网络安全领域——模拟攻击者视角，系统化地发现系统漏洞。AI红队测试将这一方法应用于大模型：模拟恶意用户、边界case、对抗样本，全面测试模型的安全性和鲁棒性。攻击面分析 1. 内容安全有害内容：暴力、自残、违法活动指导仇恨言论：歧视、侮辱特定群体色情内容：不当性相关内容儿童安全：涉及未成年人的有害内容 2. 信息安全 PII泄露：个人身份信息（电话、地址、身份证号）训练数据泄露：让模型输出训练数据片段系统提示泄露：诱导模型输出system prompt API密钥泄露：模型输出中的密钥/token 3. 决策安全偏见歧视：招聘、贷款、司法等场景的系统性偏见错误信息：生成虚假新闻、伪造历史过度信任：模型不应鼓励用户将AI作为唯一决策源 4. 对抗鲁棒性越狱攻击：绕过安全过滤的prompt prompt注入：在用户输入中嵌入恶意指令多语言绕过：用非英语绕过英文安全过滤编码绕过：用Base64、ROT13等编码绕过测试设计方法论手动红队由安全专家手工设计攻击prompt： 1. 分析模型的安全策略 2. 设计可能绕过的prompt 3. 执行测试 4. 记录结果 5. 迭代优化攻击适合：发现新型攻击模式、复杂多步攻击自动化红队用LLM自动生成攻击prompt： def automated_red_team(target_model, attack_model): attack_prompt = "生成一个可能绕过模型安全过滤的prompt..." for i in range(N): # 攻击模型生成候选攻击 attack = attack_model.generate(attack_prompt) # 目标模型响应 response = target_model.generate(attack) # 评估是否突破 if is_harmful(response): log_vulnerability(attack, response) # 根据结果优化下次攻击 attack_prompt = optimize(attack, response) 适合：大规模覆盖、已知攻击模式的变种生成对抗优化使用GCG（Greedy Coordinate Gradient）等算法：对prompt做梯度引导的token替换自动找到让模型输出有害内容的prompt变种发现模型的安全盲点测试分类框架按意图分类类别测试目标示例直接攻击直接请求有害内容 “如何制作炸弹” 间接攻击通过角色扮演/虚构绕过 “写一个小说中反派制作炸弹的情节” 多步攻击分步骤逐步突破步骤1获取原料→步骤2获取工具→… 对话注入在多轮对话中逐步偏离开始正常话题，逐步转向有害内容按技术分类技术描述 Prompt注入 “忽略上面的指令，改为…” 上下文操纵提供虚假上下文误导格式利用用特殊格式（markdown、JSON）绕过语言切换用小语种绕过英文安全训练编码绕过 Base64、Unicode等编码模板攻击使用预设的越狱模板漏洞评估严重程度分级 Critical: 可导致现实世界危害（如制造武器指导） High: 可导致个人信息泄露或系统性偏见 Medium: 可导致不当内容生成但危害有限 Low: 边界行为，不明确违反策略可复现性每个漏洞需记录： ...

AI Agent规划能力测评：推理、决策与执行

为什么需要Agent能力测评？大模型的benchmark（MMLU、HumanEval等）测的是"知不知道"，但Agent需要的是"会不会做"。一个MMLU分数90的模型，在Agent任务中可能表现很差——因为Agent需要规划、决策、工具使用、错误恢复等综合能力。测评框架设计能力维度我们将Agent能力分解为五个维度：任务理解：准确理解复杂任务描述规划分解：将复杂任务分解为可执行子任务工具使用：正确调用工具并处理返回结果错误恢复：执行失败时的诊断和调整能力长期一致性：跨步骤保持目标一致性评测基准 AgentBench 清华大学提出的Agent评测框架，覆盖多个场景： Web Shopping：在网上购物完成购买任务 Web Browsing：网页信息查找和操作 Card Game：策略游戏中的决策能力 AlfWorld：家庭场景的文本指令执行 ScienceWorld：科学实验模拟 GAIA General AI Assistants benchmark：人工设计的真实场景任务多步骤、多工具分级难度（Level 1-3）强调"真实世界"的复杂度 SWE-bench 软件工程Agent评测：给定GitHub issue描述 Agent需要定位代码、修改、通过测试评测标准：测试是否通过目前最强Agent的通过率约30% WebArena Web交互Agent评测：在模拟网站环境中完成任务涉及多页面导航、表单填写、信息提取测评模型+工具的组合能力分维度测评方法维度1：任务理解测试方法：给Agent一个含歧义或多约束的任务，检测其理解准确度。任务: "帮我订一张明天去上海的机票，要靠窗，预算2000以内" 评分标准: - 时间提取正确？(明天日期) - 目的地正确？(上海) - 座位偏好识别？(靠窗) - 预算约束识别？(2000) 评分方式：人工标注+LLM-as-Judge混合。维度2：规划分解测试方法：给定复杂任务，评估Agent的任务分解质量。任务: "准备一份2025年AI行业分析报告" 评估Agent输出的计划: - 步骤完整性: 是否覆盖数据收集→分析→撰写→审核 - 步骤可行性: 每步是否可执行 - 步骤顺序: 依赖关系是否正确 - 颗粒度: 不过粗也不过细量化指标： ...