Everything Claude Code评估体系深入三种Grader类型与passk指标全解【免费下载链接】everything-claude-codeClaude Code toolkit - agents, commands, skills, rules, and hooks for productive AI-assisted development项目地址: https://gitcode.com/GitHub_Trending/eve/everything-claude-codeEverything Claude Code是 Anthropic 黑客松冠军沉淀的 Claude Code 配置集合其内置的评估体系把 Evals评估项当作AI 开发的单元测试用三种 Grader 类型和passk 指标来量化 AI 编码的可靠性。本文带你快速吃透这套评估体系的核心理念、三大 Grader 与关键指标让你无需重读源码就能直接上手。 体系核心skills/eval-harness/SKILL.md 配套命令commands/eval.md为什么 AI 开发需要一套评估体系传统开发靠单元测试保证质量但让 AI 写代码时你没法逐行盯着它的每次输出。Everything Claude Code 给出的答案是EDDEval-Driven Development评估驱动开发先定义AI 应该达到的预期行为持续运行Evals 验证每次改动追踪回归——每次变更都不能弄坏已有功能用passk 指标度量可靠性简单说Evals 就是AI 开发的单元测试只不过测试对象是 AI 的输出本身。两类评估项Capability vs Regression评估体系把 Evals 分成两类分别回答两个不同的问题类型回答的问题典型场景成功标准Capability Evals能力评估AI 能不能做以前不会的事新增注册功能、校验邮箱格式pass3 90%Regression Evals回归评估改动有没有弄坏已有功能旧登录流程、会话管理不受影响pass^3 100%Capability Evals定义任务描述、成功标准清单和预期输出是新能力验收单Regression Evals绑定一个基线SHA 或 checkpoint 名对比基线前后测试通过情况是防破坏护栏 关键洞察新功能用宽松指标允许重试回归用严格指标必须全对——这正是后文 passk 与 pass^k 用法的由来。三种 Grader 类型全解Grader评分器负责判定一次 Eval 是 PASS 还是 FAIL。体系定义了三种可靠性从高到低成本也从低到高1️⃣ Code-Based Grader代码确定性判定首选用确定性代码检查输出例如用grep检查文件是否包含预期代码模式跑一遍测试套件看是否通过执行构建命令看是否成功官方最佳实践第一条建议就是能用代码 Grader 就用——确定性永远优于概率性Deterministic Probabilistic。2️⃣ Model-Based Grader让 AI 给 AI 打分面对开放式输出代码风格、结构合理性交给 Claude 按固定 rubric 打分是否解决了问题结构是否清晰边界情况是否处理错误处理是否得当输出1-5 分 评分理由适合无法用命令判定的软性质量。3️⃣ Human Grader人工审查兜底涉及安全、合规的变更永远不要完全自动化。人工 Grader 会生成一个待审标记包含变更描述、需要人审的原因、风险等级LOW/MEDIUM/HIGH由人来做最终决定。Grader 类型适用场景判定方式可靠性Code-Based功能存在性、测试、构建命令/脚本⭐⭐⭐ 确定性Model-Based代码质量、结构、风格AI 打分 1-5⭐⭐ 概率性Human安全、合规、高风险变更人工审查⭐⭐⭐ 最终裁决passk 与 pass^k可靠性指标全解这两个指标名字像含义完全不同是评估报告的灵魂passkk 次尝试内至少成功一次pass1首次尝试就成功的比率pass33 次内至少成功一次典型目标pass3 90%用于 Capability Evals举例3 个能力评估1 个一次通过pass1、1 个第二次才过pass2、1 个失败——则 pass1 33%pass3 可能仍是 100%。pass^k连续 k 次全部成功pass^3连续 3 次尝试全部成功没有一次翻车标准更高用于关键路径和回归评估pass^3 100%指标选择策略速查场景指标阈值新功能能力验收passkpass3 90%已有功能不回归pass^kpass^3 100%可靠性趋势监控长期跟踪 passk观察曲线防劣化四个 /eval 命令快速上手整套流程由 commands/eval.md 中的斜杠命令驱动对应定义→实现→评估→报告四阶段命令阶段作用/eval define name编码前创建.claude/evals/name.md评估定义模板含 Capability/Regression 清单与成功标准/eval check name实现中逐项运行评估记录 PASS/FAIL 到日志输出当前进度/eval report name完成后生成完整报告各项 passk、回归状态、指标汇总并给出SHIP / NEEDS WORK / BLOCKED建议/eval list随时列出所有评估及状态IN PROGRESS / READY / NOT STARTED评估文件统一存放在项目内的.claude/evals/目录定义文件name.md、运行历史name.log、回归基线baseline.json与代码一起版本管理。配套验证命令/verify 与 /checkpoint评估体系之外还有两个互补命令构成验证闭环/verifyskills/verification-loop/SKILL.md按构建→类型检查→Lint→测试→密钥扫描→Diff 审查六阶段跑完整质量门输出 READY/NOT READY 结论。支持quick、pre-pr等档位长会话中可每 15 分钟跑一次/checkpoint创建/比对检查点。实现前/checkpoint create feature-start提 PR 前/checkpoint verify对比文件变更、测试通过率与覆盖率变化——正是 Regression Evals 的基线来源7 条实战最佳实践直接摘自 skills/eval-harness/SKILL.md✅先写 Evals 再写代码——逼自己想清楚成功标准高频运行 Evals——尽早发现回归长期跟踪 passk——监控可靠性趋势能用 Code Grader 就不用 Model Grader安全类检查保留人工审查⚡保持 Evals 快速——慢的评估没人会跑Evals 随代码版本管理——它们是一等公民产物总结今天就用起来Everything Claude Code 的评估体系核心就三件事两类评估项Capability Regression×三种 GraderCode-Based / Model-Based / Human×两套指标passk 宽松验收 pass^k 严格回归上手路径# 克隆仓库 git clone https://gitcode.com/GitHub_Trending/eve/everything-claude-code然后在 Claude Code 中执行/eval define 你的功能名开始第一步。配合 README.md 的安装说明把 skills 与 commands 就位你就能把AI 写代码从玄学变成有指标、可回归、可验收的工程实践。【免费下载链接】everything-claude-codeClaude Code toolkit - agents, commands, skills, rules, and hooks for productive AI-assisted development项目地址: https://gitcode.com/GitHub_Trending/eve/everything-claude-code创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考