【免费下载链接】ClawBenchOpen-source benchmark for browser AI agents on daily tasks.项目地址https://gitcode.com/gh_mirrors/cl/ClawBench点击查看免费下载ClawBench是一个开源的浏览器 AI Agent 基准测试项目用来衡量 AI 智能体完成日常线上任务购物、订餐、注册、提交表单等的真实能力。它公开的排行榜leaderboard上的每个分数都可以被任何人独立复现而项目提供了两条路径rescore重新评分与reproduce一键复现。本指南带你从零走通这两条路径验证你手上的评分配置是否与官方完全一致。先搞懂排行榜分数是怎么算出来的ClawBench 的评分是两阶段制两个阶段都通过才得分阶段做什么结果记录Stage 1 拦截Interception沙箱容器内的请求拦截器捕获 Agent 的最终提交请求判断 URL 和 HTTP 方法是否匹配任务的eval_schemadata/interception.jsonStage 2 LLM 评审JudgeLLM 评审员默认deepseek-v4-pro检查被拦截的请求体是否真正满足自然语言指令judge.json/judge_llm.json聚合到排行榜行的公式intercepted_rate sum(intercepted) / N reward_rate sum(intercepted ∧ judge_match) / N其中 V2 语料库N 130。评分细节见 docs/scoring.md两套评审口径rubric的实现分别在 src/clawbench/runner/judge_llm.py宽松版 lenient与公开排行榜一致和 src/clawbench/runner/judge.py严格版 strict。 复现的关键就是同一个 judge 模型 同一套 rubric 提示词否则数字一定对不上。准备工作一键安装 ClawBench两种方式任选方式一直接安装 CLI推荐跑 rescore 就够用uv tool install clawbench-eval # 或 pipx install clawbench-eval安装后会得到clawbench、clawbench-run、clawbench-batch、clawbench-rescore、clawbench-reproduce等命令。方式二克隆源码需要跑完整 Agent 批次时用git clone https://gitcode.com/gh_mirrors/cl/ClawBench cd ClawBench ./run.sh两个前置条件rescore 路径都需要安装 Python 3.11 与 uv源码方式还需要 Docker 或 Podman。配置 judge 模型的 API 密钥把 models/models.example.yaml 复制为models/models.yaml填入deepseek-v4-pro的api_key和base_url参考 models/model.schema.json。路径一rescore —— 对已有轨迹重新评分适合场景你已经跑过一批任务或下载了公开轨迹只想换/补 judge 打分不需要浏览器和 Agent 算力成本低。第一步拿到待评分的轨迹轨迹目录里应包含run-meta.json和data/interception.jsonrescore 通过run-meta.json定位每个任务。如果你还没跑过 Agent可以直接下载公开的 V2 轨迹数据集见路径二rescore 命令通用。第二步配置并运行 rescore# 对整个 sweep 目录重新评分宽松 严格两套 rubric 都算 clawbench-rescore --sweep-root ./my-sweep \ --judge-model deepseek-v4-pro \ --rubric both # 只评某一个 batch或先小批量试跑 clawbench-rescore --sweep-root ./my-sweep --only-batch batch-xxx clawbench-rescore --sweep-root ./my-sweep --limit 5 --force常用参数速查参数默认值作用--judge-modeldeepseek-v4-promodels.yaml中的评审模型键名--rubriclenientlenient对齐公开排行榜/strict/both--workers4并行评审调用数--force关强制重评已有评审结果的任务--limit0全部最多评审 n 个任务--no-eval-results关跳过写eval_results/产物第三步看懂输出rescore 会写入三处结果每个任务目录judge_llm.jsonlenient 判定和/或judge.jsonstrict 判定batch 根目录rescore-summary.json含n_intercepted、reward_pct_lenient等汇总键eval_results/batch_name/per_task.csv逐任务判定 理由和summary.json格式化百分比实现逻辑见 src/clawbench/eval/rescore.py命令行脚本封装在 scripts/rescore.sh。路径二reproduce —— 一条命令复现排行榜某一行适合场景你不想自己下载、拼参数只想验证「排行榜上某模型这一行的分数我能不能算出来」。clawbench-reproduce内部自动完成 4 步从 HF 数据集TIGER-Lab/ClawBenchV2Trace下载指定模型的 V2 轨迹子集用deepseek-v4-pro按 lenient strict 两套 rubric 重新评审对比本地算出的 Intercept%、Reward(lenient)%、Reward(strict)% 与已发布值三项指标都落在--tolerance默认 ±2 pp内则打印PASS否则FAIL并逐指标列出差值一键命令clawbench-reproduce --model deepseek-v4-flash常用参数参数默认值作用--model必填要复现的排行榜行如claude-opus-4-7、gpt-5.5、deepseek-v4-flash--tolerance2.0通过阈值单位是百分点pp--rubricboth默认两套 rubric 都算便于完整对账--work-dir./reproduce-cache轨迹下载目录--keep-cache关保留下载缓存默认跑完即删可复现的模型列表内置在 src/clawbench/eval/reproduce.py 的PUBLISHED_V2_HERMES中命令行脚本封装见 scripts/reproduce.sh。进阶手动版 reproduce想自己控制每步时# 1. 下载某模型轨迹 hf download --repo-type dataset TIGER-Lab/ClawBenchV2Trace \ --include batch-aligned-*/deepseek-v4-flash-free/** --local-dir ./reproduce # 2. 重新评分 clawbench-rescore --sweep-root ./reproduce --judge-model deepseek-v4-pro --rubric both判定标准什么算复现成功以deepseek-v4-flash:free × hermes × v2这一行为例已发布分数为指标发布值你的复现值判定Intercepted%3.1%需落在 3.1% ± 2 pp 内OK / FAILReward(lenient)%2.3%需落在 2.3% ± 2 pp 内OK / FAILReward(strict)%0.0%需落在 0.0% ± 2 pp 内OK / FAIL三项全部达标即判定复现成功PASS。官方声明同一模型、同一 judgedeepseek-v4-pro lenient rubric的两次独立运行结果可稳定复现在 ±2 pp 以内。常见偏差原因排查如果对不上按优先级检查judge 模型不同—— 确认你用的也是deepseek-v4-proOpenRouter 渠道rubric 不一致—— 评审提示词在 src/clawbench/runner/judge_llm.py确认--rubric与排行榜口径一致数据集版本漂移—— HF 数据集会滚动更新可用hf download --revision commit锁定到发布时的 commitharness 配置漂移仅路径 A 适用 —— 对比你的eval_results/batch/summary.json与发布行逐指标定位两条路径怎么选速查表对比项rescorereproduce是否需要跑 Agent❌ 不需要❌ 不需要是否需要下载轨迹你自己准备✅ 自动下载对比发布分数手动对✅ 自动 PASS/FAIL适合场景验证自己的 judge 配置 / 重新评分自己的批次完整验证排行榜某一行完整命令参考见 docs/cli.md评分口径见 docs/scoring.md。按上面的步骤走一遍你就能在本地独立验证 ClawBench 排行榜上的任意一行分数了。赞分享【免费下载链接】ClawBenchOpen-source benchmark for browser AI agents on daily tasks.项目地址https://gitcode.com/gh_mirrors/cl/ClawBench点击查看免费下载相关推荐ClawBench两阶段评分终极指南请求拦截LLM裁判如何算出排行榜分数ClawBench两阶段评分终极指南请求拦截LLM裁判如何算出排行榜分数 ClawBench 是一个评测浏览器 AI 代理Browser Agent的开Android Liquid Glass开发入门3步实现高级玻璃态视觉效果Android Liquid Glass开发入门3步实现高级玻璃态视觉效果 Android Liquid Glass是一个强大的开源项目专为Android应UI组件跨平台图形学Catppuccin壁纸入门10个快速开始技巧与安装指南Catppuccin壁纸入门10个快速开始技巧与安装指南 Catppuccin壁纸是一套专为匹配Catppuccin主题设计的高质量桌面背景集合包含多种风格上一篇稳定打印 GraphQL 文档graphql-tools/documents 包原理与版本演进实战下一篇Conventional Commits与Commitlint构建提交信息检查的终极防线创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考