【免费下载链接】modern-web-guidance-src项目地址https://gitcode.com/gh_mirrors/mo/modern-web-guidance-src点击查看免费下载Modern Web Guidance是 Google Chrome 团队开源的一套「现代 Web 能力指南」它能嵌入你的 AI 编码工具让 AI 主动使用现代浏览器 API 而不是过时的旧写法。但指南到底有没有用项目没有停留在口头承诺而是建起了一套完整的评测体系用Playwright 自动评分对上百个真实开发任务进行 A/B 测试最终数据证明——启用指南后AI 编码准确率最高提升了28 个百分点。这篇文章带你看懂这套评分体系是怎么运转的。为什么 AI 编码需要一张「成绩单」AI 写代码有个老毛病训练数据里塞满了十年前的写法所以哪怕浏览器已经原生支持了新特性AI 也倾向于生成一大坨笨重的 JavaScript。Modern Web Guidance 把专家整理好的指南直接注入 AI 的上下文但「我觉得有用」不算数——必须有数据。于是项目构建了一条闭环验证流水线思路像极了科学实验先出考题再出标准答案最后让考生AI 编码代理分两组作答——一组能看到指南guided一组看不到unguided再用自动化的浏览器测试脚本统一判卷。这套流程的权威说明见 docs/CONTEXT.md 和 docs/EVALS.md。评测四步闭环从指南到分数第一步专家出「考题」和「验收清单」每个指南目录比如 guides/css/animate-to-intrinsic-sizes/都包含人写的三样东西文件作用guide.md给 AI 看的操作指南DO / DO NOT 指令、代码片段、回退策略demo.html专家手写的「满分标准答案」页面expectations.md用自然语言写的验收断言清单以「尺寸动画」指南为例expectations.md 里写着「折叠到零尺寸的元素必须在动画结束后对辅助技术隐藏」「开启减少动画偏好时必须禁用过渡」这类可逐条验证的要求。同时系统会生成一份模拟开发者口吻的任务提示比如 task.md 中这句我有个 FAQ 手风琴希望打开时有平滑动画……尽量避免 JavaScript。注意任务描述故意不提任何 API 名字考的是 AI 能不能自己把需求对应到正确的现代特性上。第二步AI 自动生成 Playwright 评分脚本验收清单交给生成流水线后会产出一份 Playwright 测试文件grader.ts生成逻辑在 src/grading/generate-grader.ts参考模板是 src/grading/template.grader.ts。评分脚本有两类断言兼顾速度与真实静态断言直接解析 HTML / CSS / JS 文件DOM 结构、CSS 规则、语法秒级出结果浏览器断言用 Chromium 真实打开页面检查计算样式、点击交互后的尺寸变化、动画是否真的发生。看一个真实例子——animate-to-intrinsic-sizes/grader.ts 里评分脚本会点击触发按钮、在动画中途和结束各采样一次高度确认「面板真的在平滑变大」而不是瞬间跳变。第三步双端点校准——「满分卷」和「零分卷」这是整套体系最巧妙的环节保证判卷人本身没有偏科用多个不同模型的 AI 各自生成「参考答案补丁」golden patches评分脚本对它们必须100% 通过生成一个「零分基线补丁」评分脚本对它必须0% 通过任一端点不达预期就带着失败诊断重新生成评分脚本最多重试 2 次。这一步由gd dev流水线自动完成。它解决了 AI 生成测试最常见的两个坑断言太宽松烂代码也能过或太苛刻好代码也误杀。第四步guided vs unguided 对照实验校准通过后gd eval命令让同一个编码代理在同一道题上跑两遍一遍禁用指南unguided只靠训练知识一遍启用指南guided可调用技能 CLI 检索指南。两份产出都交给同一份grader.ts判分差值就是这份指南的净贡献。两个关键指标opportunity机会空间100% - unguided 通过率。如果 AI 本来就能做对说明指南没什么价值uplift提升幅度guided 通过率 - unguided 通过率。这才是最终要最大化的数字。考场不是玩具页而是真实 Web 应用评分对象不是孤立的 demo而是src/harness/base-apps/下两套结构完整的基线应用如新闻站devtools-times、博客应用daily-grindAI 要像真实开发者一样在这些应用里改代码。这让评测贴近生产场景也避免了「demo 特判」式的假高分。结果说话准确率最高提升 28 个百分点以下是 README.md 中收录的近期评测快照153 个任务、上千条断言日期代理 模型任务 / 断言无指南 → 有指南提升10月9日claude_code (sonnet-5-5)153 / 129759% → 87%28pp10月9日antigravity_cli (gemini-3.8-flash)153 / 106265% → 90%25pp10月9日codex_cli (gpt-6.1-sol)153 / 128458% → 77%19pp10月6日claude_code (opus-5-5)145 / 123661% → 89%28pp10月6日antigravity_cli (gemini-3.8-flash)145 / 105762% → 88%26pp跨多个代理、多个模型提升稳定在19pp ~ 28pp区间——这不是某次偶然而是可复现的持续校准结果。细节保证公平隔离沙箱与轨迹追踪分数可信的前提是考试不作弊。评测框架详见 src/harness/README.md做了几件硬核的事文件系统沙箱Linux 下用 bubblewrap、macOS 下用 sandbox-exec 把仓库根目录整个藏起来AI 翻遍系统也找不到expectations.md和grader.ts不可能「偷看答案」独立 HOME 目录每次运行都新建临时主目录杜绝跨测试串号和凭证泄漏轨迹全记录每次运行导出代理的完整操作轨迹trajectory事后能精确统计它检索了哪些指南、消耗了多少 token失败可归因框架区分「代理中途崩溃」和「代码写出来了但没通过测试」避免把环境问题算进能力分。Playwright 本身的配置也刻意保守单 worker、0 重试src/grading/playwright.config.ts一个断言失败就是失败不给侥幸空间。想自己看数据评测仪表盘开箱即用所有结果会归档到results/suites/存储与同步机制见 docs/eval-results.md再用一条命令打开可视化仪表盘gd dashboard仪表盘src/dashboard/README.md能展示每个指南在 guided / unguided 下的通过率对比、跨次运行趋势和逐条断言明细方便你判断哪份指南真正在拉高上限。小结Modern Web Guidance 的评测体系把「指南有没有用」变成了可量化、可复现的工程问题自然语言验收清单 → AI 生成 Playwright 评分脚本 → 满分卷/零分卷双端校准 → 沙箱内对照实验。正是这套 Playwright 自动评分流水线让「AI 编码准确率提升高达 28 个百分点」成为一个经得起推敲的数字也为所有想做 AI 辅助编码质量度量的团队提供了可参考的完整范式。赞分享【免费下载链接】modern-web-guidance-src项目地址https://gitcode.com/gh_mirrors/mo/modern-web-guidance-src点击查看免费下载相关推荐揭秘Ludwig自动化特征工程如何一键提升模型准确率30%的终极指南揭秘Ludwig自动化特征工程如何一键提升模型准确率30%的终极指南 在机器学习项目中特征工程往往占据整个开发流程70%以上的时间但Ludwig的自动化特人工智能深度学习机器学习大模型预训练微调LoRA多模态NLP计算机视觉模型推理服务OpenDataLab/MinerU质量评估解析准确率评测体系OpenDataLab/MinerU质量评估解析准确率评测体系 痛点与承诺 还在为PDF文档解析工具的准确性评估而烦恼面对复杂的多模态文档结构如何科学量化人工智能大模型多模态计算机视觉OCRAI 应用zk-nvim终极指南如何用Neovim构建高效纯文本笔记系统zk nvim终极指南如何用Neovim构建高效纯文本笔记系统 zk nvim是一款专为Neovim打造的强大笔记扩展它将纯文本编辑的灵活性与高效知识管理完创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考