RAG评估框架：RAGAS指标体系与自定义评估

from ragas.metrics import context_precision
from ragas.dataset_schema import SingleTurnSample

sample = SingleTurnSample(
    user_input="什么是Transformer架构？",
    retrieved_contexts=[
        "Transformer是一种基于自注意力机制的神经网络架构...",
        "BERT是基于Transformer的预训练模型...",
        "今天的天气不错。"  # 不相关
    ],
    reference="Transformer是一种基于自注意力机制的序列到序列模型..."
)

score = await context_precision.single_turn_ascore(sample)
# 输出: 0.67 (2/3相关)

from ragas.metrics import context_recall

sample = SingleTurnSample(
    user_input="Transformer的核心组件有哪些？",
    retrieved_contexts=[
        "Transformer包含多头自注意力机制和前馈神经网络...",
        "Transformer使用位置编码来处理序列顺序..."
    ],
    reference="Transformer的核心组件包括多头自注意力、前馈神经网络、位置编码和残差连接。"
)

score = await context_recall.single_turn_ascore(sample)
# 评估reference中的每个信息点是否在retrieved_contexts中出现

from ragas.metrics import faithfulness

sample = SingleTurnSample(
    user_input="GPT-4的参数量是多少？",
    response="GPT-4的参数量约为1.8万亿。",
    retrieved_contexts=[
        "OpenAI并未官方公布GPT-4的参数量，但据多方估计约为1.7-1.8万亿参数。"
    ]
)

score = await faithfulness.single_turn_ascore(sample)
# 检查response中的每个claim是否都能在context中找到支持

from ragas.metrics import answer_relevancy

sample = SingleTurnSample(
    user_input="如何优化RAG系统的检索质量？",
    response="RAG优化可以从以下几个方面入手：1. 改进分块策略 2. 使用更好的嵌入模型 3. 引入Reranker..."
)

score = await answer_relevancy.single_turn_ascore(sample)

from ragas import EvaluationDataset
from ragas import evaluate
import pandas as pd

# 构建评估数据集
eval_data = [
    {
        "user_input": "什么是LoRA微调？",
        "response": "LoRA是一种参数高效微调方法...",
        "retrieved_contexts": ["LoRA通过低秩分解减少可训练参数..."],
        "reference": "LoRA（Low-Rank Adaptation）是一种参数高效微调技术..."
    },
    # ... 更多评估样本
]

dataset = EvaluationDataset.from_list(eval_data)

# 运行评估
results = evaluate(
    dataset=dataset,
    metrics=[
        context_precision,
        context_recall,
        faithfulness,
        answer_relevancy,
    ],
    llm=eval_llm,  # 建议用GPT-4o作为评估模型
    embeddings=eval_embeddings
)

# 转为DataFrame分析
df = results.to_pandas()
print(df.describe())

# 输出示例：
#        context_precision  context_recall  faithfulness  answer_relevancy
# count        100          100            100             100
# mean         0.78         0.72           0.85            0.91
# std          0.12         0.15           0.08            0.06

from ragas.metrics.base import MetricWithLLM
from pydantic import BaseModel

class ConcisenessScore(BaseModel):
    reason: str
    score: float

class ConcisenessMetric(MetricWithLLM):
    """评估回答的简洁性"""
    
    async def _ascore(self, sample) -> float:
        prompt = f"""
        评估以下回答的简洁性。回答应该直接、无冗余。
        
        问题：{sample.user_input}
        回答：{sample.response}
        
        评分标准：
        - 1.0：完全简洁，无废话
        - 0.5：有些冗余但不影响理解
        - 0.0：极其冗长，大量无关内容
        
        返回JSON：{{"reason": "...", "score": 0.x}}
        """
        result = await self.llm.generate(prompt, response_model=ConcisenessScore)
        return result.score

{
  "user_input": "RAG系统如何选择嵌入模型？",
  "reference": "选择嵌入模型需考虑：1.语言支持 2.维度大小 3.最大输入长度 4.MTEB排名 5.推理速度",
  "reference_contexts": ["嵌入模型选择的5个维度..."]
}

def generate_eval_dataset(documents: list[str], llm) -> list[dict]:
    """从文档自动生成评估问答对"""
    eval_samples = []
    
    for doc in documents:
        prompt = f"""
        基于以下文档内容，生成3个问答对：
        
        文档：{doc[:2000]}
        
        要求：
        1. 问题应该具体，有明确答案
        2. 答案必须完全基于文档内容
        3. 覆盖文档的不同部分
        
        输出JSON列表格式。
        """
        pairs = llm.generate(prompt)
        eval_samples.extend(pairs)
    
    return eval_samples