RAGAS 指标体系详解整体设计定位RAGAS 的指标体系以 RAG 分层解耦为核心设计原点原生围绕「检索层-生成层-端到端层」三层架构构建核心指标定义严谨、可复现性强其中忠实度、上下文召回率等核心指标已成为 RAG 评测的行业事实标准。在此基础上官方逐步扩展了 Agent、多模态、通用自定义等专项指标覆盖 LLM 应用的主流评测场景。整个体系遵循「核心指标标准化 扩展场景专项化 自定义框架灵活化」的三层设计既保证了行业对标性又兼顾了业务适配性。一、核心 RAG 三层指标体系行业标准基准这是 RAGAS 最核心、应用最广的部分严格对应 RAG 技术链路每层独立控制变量支持分层评测与根因定位也是业界通用的 RAG 质量衡量标准。1. 检索层指标Retrieval Metrics核心目标量化检索系统的召回质量、排序质量、噪音水平完全排除生成模型干扰指标波动仅由检索策略、分块、Embedding、重排序影响。共 4 个核心指标按是否需要标准答案分为两类指标名称官方全称是否需要人工标注核心定义计算逻辑业务价值上下文精确率Context Precision分两种 • 无参考版默认 • 有参考版WithReference衡量检索结果的排序质量验证相关片段是否排在更靠前的位置计算所有召回片段的平均 PrecisionK越靠前的相关片段权重越高本质是「排序质量 相关性」的综合指标直接反映检索系统的排序能力排序越准关键信息越先被模型看到生成质量越有保障上下文召回率Context Recall✅ 需要标准答案衡量召回结果覆盖答案所需信息的完整程度通过估算真阳性TP和假阴性FN计算召回上下文中包含的答案关键信息点 / 标准答案总信息点决定回答质量的上限——召回率低生成模型能力再强也答不对上下文相关性Context Relevance❌ 零标注衡量召回的所有上下文整体和用户问题的关联程度由裁判模型分两次独立打分0/1/2 三级转换为 0~1 分后取平均快速评估检索的整体噪音水平适合粗筛与版本快速对比上下文实体召回率Context Entity Recall✅ 需要标准答案基于实体粒度的精准召回率提取标准答案中的关键实体统计有多少比例出现在召回上下文中适合结构化信息、知识图谱类 RAG 场景精准定位实体级漏检关键说明无参考版 Context Precision 是冷启动零标注评测的核心指标无需人工标注就能评估检索排序质量。所有检索层指标都只需要user_inputretrieved_contexts即可运行召回率/实体召回需要额外reference。2. 生成层指标Generation Metrics核心目标量化生成模型基于上下文的忠实性、相关性固定输入召回上下文完全排除检索质量干扰指标波动仅由生成模型、系统 Prompt、约束指令影响。指标名称官方全称是否需要人工标注核心定义计算逻辑业务价值生成忠实度Faithfulness❌ 零标注衡量生成回答是否严格基于给定上下文不编造事实原子声明拆解法将回答拆分为不可再分的独立事实声明逐一验证是否能从上下文推理得出得分 有支撑的声明数 / 总声明数RAG 核心红线指标直接对应幻觉率幻觉率 1 - 忠实度回答相关性Answer Relevancy Response Relevancy❌ 零标注衡量回答和用户问题的匹配程度是否答非所问裁判模型从语义匹配度、意图匹配度两个维度判断回答与问题的契合度定位「跑题、答非所问、信息遗漏」类生成问题噪音敏感度Noise Sensitivity✅ 需要标准答案衡量生成模型对无关上下文噪音的抗干扰能力在上下文中注入无关信息观察回答是否被干扰计算得分下降幅度评估模型的抗噪能力指导 TopK 大小设置——抗噪差的模型要缩小 TopK 减少噪音关键说明忠实度是 RAGAS 最具代表性的指标其原子声明拆解法已成为业界通用的幻觉评测标准。生成层评测必须固定retrieved_contexts禁止使用实时检索结果否则变量不唯一结果无法归因。3. 端到端层指标End-to-End Metrics核心目标从用户视角量化最终回答的整体质量综合反映检索生成的全链路效果是最终业务验收的核心依据。指标名称官方全称是否需要人工标注核心定义计算逻辑业务价值答案正确性Answer Correctness✅ 需要标准答案衡量最终回答与标准答案的事实一致性与完整度结合事实准确性 语义相似度综合打分同时考虑信息完整性、逻辑一致性RAG 系统最终交付效果的核心验收指标答案相似度Answer Similarity✅ 需要标准答案衡量回答与标准答案的语义相似程度基于语义嵌入的余弦相似度计算快速粗略对比答案的整体匹配度事实正确性Factual Correctness✅ 需要标准答案专门校验回答中的事实准确性逐一核对事实点的对错忽略表述差异聚焦事实对错适合对准确性要求极高的场景二、扩展专项指标体系RAGAS 在核心 RAG 指标之外逐步扩展了多个专项场景的指标覆盖 Agent、多模态、SQL、文本生成等主流 LLM 应用场景。1. Agent 与工具调用指标针对 Agent 工具调用与任务执行场景官方原生支持基础 Agent 评测能力Tool call Accuracy工具调用准确率验证工具选择与参数构造的整体正确率Tool Call F1工具调用的精确率与召回率的调和平均综合衡量工具调用效果Topic adherence主题遵循度验证 Agent 执行过程中是否偏离用户原始主题Agent Goal AccuracyAgent 目标准确率验证最终是否达成用户的任务目标2. 多模态 RAG 指标针对图文、文档、视频等多模态 RAG 场景Multimodal Faithfulness多模态忠实度验证多模态回答是否基于图片、文档等多模态上下文不编造视觉信息Multimodal Relevancy多模态相关性验证多模态回答和用户问题的匹配程度3. NVIDIA 合作工业级指标官方与 NVIDIA 合作推出的生产导向 RAG 指标更贴近落地场景Answer Accuracy答案准确率端到端答案事实准确性Context Relevance上下文相关性检索上下文与问题的关联程度Response Groundedness回答锚定程度回答基于上下文的程度判定逻辑更偏向生产场景的实用标准4. 文本生成专项指标Summarization Score摘要质量分评估摘要的事实准确性、信息完整性、简洁性惩罚长度冗余BLEU / CHRF / ROUGE Score经典机器翻译/文本生成指标适合文本改写、摘要、翻译场景Exact Match精确匹配字符串完全匹配校验适合结构化输出、代码生成场景String Presence字符串存在性校验指定关键字/字符串是否出现在回答中5. SQL 专项指标针对 Text-to-SQL 场景Execution based Datacompy Score执行生成的 SQL对比结果集的正确性SQL query EquivalenceSQL 语句的语义等价性判断三、通用自定义评测框架RAGAS 提供了灵活的自定义评分框架支持企业按需定义评测标准弥补固定指标的不足。1. Aspect Critic多维度分项评分核心逻辑自定义多个评测维度每个维度独立打分最终输出分项得分与总分适用场景多维度综合质量评估比如同时评估准确性、流畅性、专业性、合规性特点每个维度独立判定结果可解释性强2. Rubrics based scoring自定义规则评分核心逻辑用自然语言定义评分规则、评分标准、分值等级让裁判模型按规则打分适用场景业务专属规则、定制化验收标准特点无需代码用自然语言定义规则灵活度高3. Simple Criteria Scoring简单标准评分核心逻辑设定简单的通过/不通过标准或单维度打分适用场景简单的合规校验、格式校验、关键字校验四、指标体系核心特点分层解耦设计严格对应 RAG 技术链路每层指标独立支持控制变量评测精准根因定位这是 RAGAS 最核心的设计优势。定义标准统一核心指标定义严谨、可复现性强是行业通用的对标基准不同企业、不同模型的结果可以横向对比。零标注与有标注结合核心指标中检索精确率、忠实度、相关性等无需人工标注即可评测冷启动成本低有标注指标用于精准质量验收。可扩展性从核心 RAG 扩展到 Agent、多模态、SQL 等场景同时支持自定义规则评分适配不同业务需求。五、与 DeepEval 指标体系的核心差异维度RAGAS 指标体系DeepEval 指标体系核心定位RAG 专项标准标尺指标少而精定义统一全场景生产测试框架指标多而全高度可定制覆盖范围核心聚焦 RAG 单轮场景Agent、安全等扩展较弱原生覆盖 RAG、多轮对话、Agent、安全合规全场景自定义能力自定义程度低核心指标逻辑固定提供三级自定义体系支持完全重写指标逻辑可解释性偏向黑盒打分判定理由不透明原生支持链式思考评分每条评分附带推理过程生产适配偏向离线实验与技术对标偏向工程化落地、CI/CD 集成、质量门禁