【免费下载链接】skillsAgent Skills used by the Sentry team for development.项目地址https://gitcode.com/gh_mirrors/skills22/skills点击查看免费下载Skill 评估体系是 Sentry Skills 仓库Sentry 团队内部使用的 Agent Skills 集合中一套给 AI 技能做体检的工程化方法。简单来说每当你修改了一个 Skill一份教 AI Agent 做事的 Markdown 说明书光靠我读了觉得没问题是不够的——你需要让它真正跑一遍真实任务再看产出是否合格。这套方法由两部分组成一份面向维护者的操作手册EVAL.md加上一组可重复执行的evals/场景测试用例。下面用最短的篇幅讲清楚这套评估体系如何搭建、如何运行、如何判断结果。为什么要给 Skill 做评估Skill 本质是写给 AI 的操作手册。手册写得再顺眼也可能在实际任务中翻车触发不准该激活时不激活不该激活时乱插嘴产出失控生成的文档啰嗦、模板味重、夹带无关内容悄悄退化这次改好了 A下次却把上次修好的 B 改坏了。 类比Skill 是产品代码evals/就是它的自动化测试用例而EVAL.md是测试运行手册。Sentry Skills 仓库里有 20 多个 Skillcode-review、commit、security-review等完整清单见 README.md其中两个核心 Skill 配了完整的评估体系Skill评估入口场景目录pr-writer撰写 PR 标题和描述skills/pr-writer/EVAL.mdskills/pr-writer/evals/skill-writer自动编写 Skill 的元技能skills/skill-writer/EVAL.mdskills/skill-writer/evals/EVAL.md 是什么一份评估操作手册EVAL.md不是给 AI 看的运行时文件而是给人类维护者看的 playbook。以 skills/skill-writer/EVAL.md 为例它回答四个问题用什么框架跑仓库选型为 AXISnetlify/axisMIT 开源原因很务实内置 Codex 适配器、隔离工作区、LLM 评分器、报告与基线对比一个都不缺。怎么快速跑起来每条命令都写好了见下文一键运行评估命令一节。测什么、怎么判给出测试层级表结构、确定性检查、模型评审和一套评分量表Rubric。什么时候允许合并明确的Adoption Gate采纳门槛检查清单。还有一个关键设计原则评估文件不参与运行时路由。也就是说SKILL.md正文不会链接到自己的EVAL.md——AI 干活时不需要知道自己怎么被考除非用户明确说跑一下评估。这一点在 skills/skill-writer/references/skill-evals.md 里被单独强调。目录结构evals 场景化验证的文件布局每个被评估的 Skill 下都有统一的三件套skills/skill-name/ ├── EVAL.md # 维护者手册怎么跑、怎么判 └── evals/ ├── axis.config.json # AXIS 运行配置 └── scenarios/ # 一个个考试题目JSON 场景文件各文件分工如下引自 skills/skill-writer/references/skill-evals.md文件用途EVAL.md维护者运行手册指向 AXISevals/axis.config.json可重复的 Agent 运行配置evals/scenarios/*.json固化的考试题目、工作样例和保留集用例evals/fixtures/复制到测试工作区的版本化素材以 skills/skill-writer/evals/axis.config.json 为例配置只做三件事指定被测试的 Agentagent: codex开启full-auto全自动模式通过skills: [./..]把当前这个本地 Skill装进测试环境——考的就是你正在改的东西设置超时单场景 15 分钟卡住时快速失败、方便调试。一键运行评估四条核心命令所有命令都写在各自的EVAL.md里以skill-writer为例skills/skill-writer/EVAL.md1️⃣ 跑完整工作集npx netlify/axis run --config skills/skill-writer/evals/axis.config.json2️⃣ 只跑单个用例调 bug 时最常用npx netlify/axis run \ --config skills/skill-writer/evals/axis.config.json \ --scenario small-inline-workflow3️⃣ 查看报告加--html可生成网页版报告npx netlify/axis reports latest --config skills/skill-writer/evals/axis.config.json4️⃣ 与基线对比判断是否退化的关键一步npx netlify/axis run \ --config skills/skill-writer/evals/axis.config.json \ --compare-baseline⚠️ 基线baseline只在人工审阅报告之后才允许刷新npx netlify/axis baseline set。先信人、再信机器。场景用例详解一道考试题长什么样每个场景是一个 JSON 文件放在evals/scenarios/下由四部分构成部分作用prompt给 Agent 的原始任务描述要具体到成功与否可观察setup考试前搭好环境复制仓库、初始化 git、预置有缺陷的文件judge一组带权重的评分检查项由 LLM 裁判逐条核对artifacts考完要存档的产出物供报告和人工复核案例 1small-inline-workflowskills/skill-writer/evals/scenarios/small-inline-workflow.json任务很简单请 Agent 创建一个发布说明润色器小技能。真正的考点藏在检查项里——它故意只要求简单如果 Agent 过度拆分、为一条小规则硬造references/目录就会被扣分。这类用例专门抓过度工程。案例 2iteration-from-bad-outputskills/skill-writer/evals/scenarios/iteration-from-bad-output.jsonsetup 阶段会人为植入一个烂 Skill触发范围过宽的csv-cleaner、臃肿的SKILL.md、一条规则一个文件的碎片化 references。任务要求 Agent 把它改精准、改紧凑。评分项甚至检查改进是否泛化自负面证据而不是只会改这几句词。这是对迭代能力的直接考察。案例 3concise-docs-prskills/pr-writer/evals/scenarios/concise-docs-pr.json针对pr-writersetup 先给 skills/pr-writer/SKILL.md 追加一段文档型变更要写简短 PR的指引并提交然后让 Agent 为这段未提交的改动起草 PR 标题和正文。四条 judge 检查项权重 0.3 / 0.3 / 0.2 / 0.2分别盯标题是否用合规的 conventional commit 类型、正文是否面向评审人且不啰嗦、有没有残留Summary/Test Plan模板标题、有没有倾倒验证命令输出。 三个用例正好构成最小评估集的黄金组合正常路径happy path、防过度工程、从坏输出中迭代——这正是 skills/skill-writer/references/skill-evals.md 建议的最小用例集模式。判分方法确定性检查 LLM 裁判 人工量表评估不是AI 打个分就完事而是三层防线确定性断言文件是否生成、引用是否解析、验证器是否通过——客观事实机器判LLM 裁判judge 检查项简洁度、结构、来源覆盖等开放式质量——但裁判必须引用证据路径、diff、转录片段不许空口给分人工量表RubricEVAL.md中定义了七个维度每个维度打pass/warn/fail维度通过标准节选触发精准度该触发就触发不越界产物最小化每个文件都有明确职责无杂物文件运行时简洁度SKILL.md保持路由器定位不堆背景知识来源覆盖关键决策有本地/官方/示例证据支撑渐进式披露可选深度从SKILL.md路由出去不藏必备指令验证有效性结构性校验与技能形态匹配可移植性特定 Provider 的机制有标注、有理由其中前五个是关键维度——任何一项在保留用例上退化就不得合并。另外两个值得学习的方法论细节盲比blind old-vs-new comparison分数接近时让裁判不知道哪份是新版避免新版本光环效应看转录找病根运行失败或异常慢时去翻 transcript——浪费的步骤往往指向指令臃肿或含糊。采纳门槛什么时候才允许合并两份EVAL.md都定义了清晰的 Adoption Gate。以 skills/skill-writer/EVAL.md 为例必须同时满足工作集 AXIS 运行全部完成关键维度在保留用例上无退化至少有一个目标维度在引发本次修改的用例上改善结构性验证通过或转录里能解释合理阻塞运行时SKILL.md保持路由器定位不链接评估文件只有技能契约变化时才更新来源与维护说明。跑完后还要按EVAL.md里的结果模板输出一份摘要基线 vs 候选、报告位置、用例结果表、关键退化、最终决策adopt/revise/reject。没有这份摘要评估等于没做。8 条评估原则速记s skills/skill-writer/EVAL.md 沉淀的评估原则浓缩成新手可直接套用的 8 条先写 2-3 个真实用例再谈扩展用基线对比别信单次分数judge 检查项要可观察文件建没建、禁用的文件在不在、验证跑没跑开放式质量交给 LLM 裁判每个检查项和人工评审都要有具体证据盯住耗时、token 消耗和无效交互失败或变慢就去读转录分数接近时用盲比裁决。上手清单从零搭建一套 Skill 评估想给自己项目的 Skill 配上同款体系照这张表抄作业即可在 Skill 目录下建EVAL.mdevals/目录写最小axis.config.json指定 agent、skills: [./..]、场景超时按正常路径 边缘/安全 反模式纠正三件套写第一批场景放到evals/scenarios/每条 judge 检查项都写成可观察 带权重长素材放evals/fixtures/而不是塞进 prompt首次跑通后设基线此后每次改动都--compare-baseline人工按 Rubric 打分过 Adoption Gate 才合并。✅ 整套方法论的核心只有一句话Skill 的修改必须用可重复的真实任务来验证且决策要同时机器证据与人工量表支撑。相关文件索引资料路径评估手册pr-writerskills/pr-writer/EVAL.md评估手册skill-writerskills/skill-writer/EVAL.md运行配置skills/pr-writer/evals/axis.config.json · skills/skill-writer/evals/axis.config.json场景用例skills/pr-writer/evals/scenarios/ · skills/skill-writer/evals/scenarios/方法论参考skills/skill-writer/references/skill-evals.md迭代评估参考skills/skill-writer/references/iteration-path.md仓库总览README.md · CONTRIBUTING.md掌握这套EVAL.mdevals/场景化验证方法你就能像 Sentry 团队一样让每一个 Skill 的迭代都有考可出、有据可查、有门可过。赞分享【免费下载链接】skillsAgent Skills used by the Sentry team for development.项目地址https://gitcode.com/gh_mirrors/skills22/skills点击查看免费下载相关推荐agent-browser Skills Evals 评估体系验证瘦 SKILL.md CLI 动态技能方案对 AI Agent 的实战效果agent browser Skills Evals 评估体系验证瘦 SKILL.md CLI 动态技能方案对 AI Agent 的实战效果 导读 本浏览器控制CLIGUI 自动化AI 技能/插件AI 应用评估数据质量保证simple-evals测试集验证方法终极指南评估大型语言模型 LLM 的性能表现从来都不是一件简单的事情。随着AI模型的快速发展如何准确、公正地评估模型能力成为业界关注的焦点。simple evals作模型评测深度解析LocalSend跨平台文件传输架构5步构建高效安全的本地网络传输方案深度解析LocalSend跨平台文件传输架构5步构建高效安全的本地网络传输方案 LocalSend是一款开源跨平台文件传输应用完美解决了局域网内设备间安全高即时通讯跨平台上一篇Pixal3D单图生成3D概览一文读懂SIGGRAPH 2026论文一张图片如何变成高质量PBR 3D资产下一篇Fast Note Sync Service 安全进阶OIDC 单点登录与用户注册开关配置指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考