指标体系

为什么RAG评估如此重要？ 2026年，RAG系统已在企业中大规模部署，但一个尴尬的现实是：超过60%的团队没有系统化的评估体系。他们靠"人工看看效果还行"来判断系统质量，这在生产环境中是远远不够的。 RAGAS（Retrieval Augmented Generation Assessment）是目前最流行的RAG评估框架，它提供了一套不依赖人工标注的自动化评估指标。 RAGAS核心指标体系 RAGAS将RAG系统评估拆分为三个环节：检索、生成、端到端。 指标全景图 环节 指标 含义 取值范围 检索 Context Precision 检索结果中相关内容的比例 0-1 检索 Context Recall 相关内容被检索到的比例 0-1 检索 Context Relevance 检索内容与查询的相关性 0-1 生成 Faithfulness 回答是否忠于检索到的上下文 0-1 生成 Answer Relevance 回答与查询的相关性 0-1 端到端 Answer Correctness 回答与标准答案的一致性 0-1 各指标详解与实现 1. Context Precision（上下文精确率） 评估检索结果中有多大比例是真正相关的： from ragas.metrics import context_precision from ragas.dataset_schema import SingleTurnSample sample = SingleTurnSample( user_input="什么是Transformer架构？", retrieved_contexts=[ "Transformer是一种基于自注意力机制的神经网络架构...", "BERT是基于Transformer的预训练模型...", "今天的天气不错。" # 不相关 ], reference="Transformer是一种基于自注意力机制的序列到序列模型..." ) score = await context_precision.single_turn_ascore(sample) # 输出: 0.67 (2/3相关) 2. Context Recall（上下文召回率） 评估标准答案中的信息是否都被检索到： ...