【免费下载链接】pandaprobeopen source agent engineering platform: traces, evals, and metrics to debug and improve your AI agents. Integrates with LangGraph, CrewAI, Claude Agent SDK, and more.项目地址https://gitcode.com/gh_mirrors/pa/pandaprobe点击查看免费下载PandaProbe 是一款开源的 AI Agent 工程平台提供 traces、evals 与 metrics 能力帮助你调试并持续改进基于 LangGraph、CrewAI、Claude Agent SDK 等框架构建的智能体。这篇文章面向新手用一篇就能讲清 PandaProbe 评估体系Evals的四大核心概念Eval Runs评估运行、Metrics指标、Scores评分与Monitors监控器帮你快速建立完整心智模型。评估体系全景一张图看懂四个核心概念在深入细节之前先看一张图。PandaProbe 的评估体系可以概括为四步流水线一个Eval Run选定要评估的 traces 或 sessions一个或多个Metrics作用于每个被选中的对象每个 metric 产出一条Score包含分数值、原因与元数据可选的Monitor按调度周期重复创建 Eval Runs。上图即控制台中的 Evaluations 页面五大入口正好对应本文要讲的核心概念两次评估运行Trace/Session Eval Runs、定时监控Monitors与两类评分Trace/Session Scores。四个概念的关系可以记一句话Monitor 是闹钟Eval Run 是一次批处理Metric 是评分标准Score 是成绩单。Eval Runs 入门一次批量评估任务是如何执行的Eval Run评估运行是一个批量作业把一组指标应用到一批目标 traces 或 sessions 上。每个 Eval Run 都有这些要素配置项说明目标类型TRACE单次交互或SESSION整个会话生命周期指标列表本次运行要执行哪些 Metrics过滤器按时间、状态、用户、标签等筛选评估范围采样率只评估匹配数据的一部分控制成本创建 Eval Run 后PandaProbe 会异步处理解析目标数据 → 采样 → 分发给后台 worker → 立即返回PENDING状态API 返回202 Accepted。运行生命周期有四个状态状态含义PENDING已创建等待 worker 接手RUNNING正在评估中COMPLETED全部指标执行完毕个别分数可能失败FAILED运行本身遇到致命错误 新手提示评估是异步的提交后无需等待稍后回到控制台查看结果即可。运行记录中会跟踪evaluated_count与failed_count方便你监控进度与失败。Metrics 指标11 个内置指标怎么选Metric指标是可复用的评估函数对单条 trace 或单个 session 打分。PandaProbe 内置11 个指标分两大类Trace 级指标9 个单次交互答得好不好大多数 trace 指标采用LLM-as-judge方式从 trace 中提取关键信息 → 让裁判 LLM 对某个质量维度打分 → 解析结构化结果为分数。指标方法回答的问题task_completionLLM 裁判2 阶段Agent 完成了用户的任务吗tool_correctnessLLM 裁判2 阶段Agent 选对工具了吗argument_correctnessLLM 裁判3 阶段工具调用参数正确吗step_efficiencyLLM 裁判2 阶段执行过程有多精简高效confidenceLLM 裁判1 阶段Agent 的行动果断、有依据吗plan_adherenceLLM 裁判3 阶段Agent 遵守了自己声明的计划吗plan_qualityLLM 裁判3 阶段计划本身完整且结构良好吗coherence嵌入余弦距离输出与输入逻辑一致吗loop_detection混合相似度Agent 是否在跨 trace 重复打转其中coherence与loop_detection不走 LLM 裁判而是用嵌入或相似度分析速度快且结果确定。Session 级指标2 个整个会话可靠吗Session 指标评估完整的 Agent 生命周期聚合会话内所有 trace 的信号指标聚合方式回答的问题agent_reliabilityMax-compose top-k 尾部风险最坏情况下会失败得多严重agent_consistency加权 RMS 聚合全程表现是否平稳一致Session 聚合是确定性的先为每条 trace 计算四个信号confidence、loop_detection、tool_correctness、coherence再做数学合成聚合阶段零 LLM 调用。这种两步式设计让低分会可解释——你能回溯到具体是哪几条 trace、哪个信号拖低了会话分数。 新手建议调试具体失败案例时选 trace 级指标从task_completion入手想评估整个会话/工作流的可靠性时选 session 级指标从agent_reliability入手。Scores 评分评估结果长什么样Score评分是一个指标作用于一个 trace/session后落库的结果也是你在控制台查看、通过 API 查询、观察趋势的基本单位。每条 Score 包含字段说明name产生它的指标如task_completionvalue分数值0–1 的数值、布尔或分类值data_typeNUMERIC/BOOLEAN/CATEGORICALsource来源AUTOMATED评估运行/ANNOTATION人工标注/PROGRAMMATICSDK 提交statusSUCCESS/FAILED/PENDINGreasonLLM 生成的评分理由人类可读metadata结构化元数据阈值、中间结果、信号分解等eval_run_id回链到产生它的 Eval Run手动评分为 null阈值Threshold不改分数只改及格线每个指标都有一个默认阈值如 0.5分数 ≥ 阈值即为通过。阈值可以按 Eval Run 覆盖——你可以在不改指标本身的前提下随时调整质量标准。阈值只影响通过/失败的判定不会改变分数值本身。Monitors 监控器让评估自动定时跑Monitor监控器是一份保存的评估配置 调度计划把目标类型、指标、过滤器、采样率与调度周期固化下来由系统按节奏自动创建 Eval Runs。典型场景每日生产 trace 质量巡检每周 session 可靠性审计版本发布后的回归监控对高价值用户、特定标签或环境的持续评估关键配置项配置项说明Cadence调度every_6h、daily、weekly或自定义 cron如cron:0 3 * * *每天凌晨 3 点Sampling rate每次运行评估匹配数据的比例如0.1表示只评估 10%only_if_changed上次运行后没有新数据就跳过本次运行避免重复评估、控制成本Monitor 有两个生命周期状态ACTIVE按计划运行与PAUSED暂停调度。你也可以随时手动触发trigger一次立即运行不必等下一个调度点。Trace 评估 vs Session 评估怎么选Trace 评估SessionAgent评估回答的问题这次请求处理得好吗整个会话可靠吗评估单元单条 trace同一session_id下的所有 trace典型指标task_completion、tool_correctnessagent_reliability、agent_consistency适用场景调试具体失败、回归测试单次交互观察质量随会话的衰减、定位需优先复查的会话两者共用同一套底层机制过滤器、指标、评分、监控器只是评估粒度不同。实践中通常两者搭配使用trace 评估定位哪一步错了session 评估回答这个 Agent 整体能不能上生产。核心概念在源码中的位置想进一步深入了解可以从这些模块入手均为相对仓库根目录的路径评估领域实体EvalRun / TraceScore / SessionScorebackend/app/core/evals/entities.py指标基类与工具backend/app/core/evals/metrics/base.pyTrace 级指标实现每个指标一个目录backend/app/core/evals/metrics/trace/会话级指标实现backend/app/core/evals/metrics/session/agent_reliability/metric.py、backend/app/core/evals/metrics/session/agent_consistency/metric.py调度周期cadence解析backend/app/core/evals/cadence.py评估 API 路由backend/app/api/v1/routes/evaluations.py官方概念文档docs/evaluation/get-started/concepts.mdx总结一张表记住 PandaProbe 评估体系概念一句话定义类比Eval Run把一组指标应用到一批目标上的批量任务一次考试Metric可复用的评估函数产出 0–1 的分数评分标准Score指标作用于单个对象后落库的结果成绩单Monitor保存的配置 调度计划自动重复创建 Eval Run闹钟/排课表掌握这四个概念你就能自由组合出从手动评估单条 trace到每周自动审计生产会话的完整工作流正式进入 PandaProbe 评估体系的实战阶段。赞分享【免费下载链接】pandaprobeopen source agent engineering platform: traces, evals, and metrics to debug and improve your AI agents. Integrates with LangGraph, CrewAI, Claude Agent SDK, and more.项目地址https://gitcode.com/gh_mirrors/pa/pandaprobe点击查看免费下载相关推荐solidcraft 参数化入门约束、尺寸与历史树一次讲清核心概念solidcraft 参数化入门约束、尺寸与历史树一次讲清核心概念 如果你用过传统 CAD一定熟悉这样的操作画一条线、拉一个体图纸就是最终结果改尺寸图形学3D渲染桌面应用MCP 服务Capistrano 核心概念速览Stage、Role、Task 与 Filter 一次讲透Capistrano 核心概念速览Stage、Role、Task 与 Filter 一次讲透 Capistrano 是一款基于 Ruby、Rake 和 SSHDevOpsCLI如何快速掌握TensorFlow核心概念从入门到实战的完整指南如何快速掌握TensorFlow核心概念从入门到实战的完整指南 TensorFlow Course是一个专为初学者设计的开源项目提供简单易用的TensorF教程深度学习机器学习上一篇Navicat重置工具突破14天试用限制的终极解决方案下一篇25元革命性AI智能眼镜开源硬件如何重塑你的视觉体验创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考