Midscene.js 使用指南一句自然语言驱动的跨平台 UI 自动化测试【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene上周界面改版旧测试脚本里的选择器全失效了这次却一行代码都没改。Midscene.js 是一个跨平台 UI 自动化测试框架你用在搜索框输入今日天气这样的自然语言写测试步骤它靠多模态模型看懂屏幕自己找到元素并完成操作同一套脚本还能跑在网页、Android、iOS 和桌面上。它是什么不靠选择器靠看屏幕传统自动化绑定 DOM 结构和选择器Midscene.js 换了一条路截屏 → 交给视觉模型理解 → 执行动作。框架围绕三个高频操作设计对应日常测试的三步执行操作写点击登录按钮模型自己定位并点击提取数据把每个商品的名称和价格变成结构化 JSON 返回校验结果断言页面显示天气信息是否成立。它适合不想再维护选择器的测试同学也适合需要同时覆盖 Web 和移动端的团队。为什么它比传统方案更省心界面重构后只要长出来的样子模型能认出脚本通常不用动测试步骤是人话写的评审、交接都不用翻译Canvas 绘制、自定义控件、跨域 iframe 这类选择器够不着的元素它照样能处理原生 App 也在能力范围内。代价是每一步都要调用一次 AI 模型后面会讲怎么控制成本。快速上手安装 CLI 并跑通第一个脚本先全局安装命令行工具npm i -g midscene/cli需 Node.js 20.19/22.12/24。然后在运行目录下建一个.env填入模型服务地址、API Key 和模型名称等配置具体字段参考快速开始文档。接着写一个脚本page: url: https://www.bing.com tasks: - name: 搜索天气 flow: - ai: 在搜索框输入今日天气并搜索 - aiAssert: 页面显示了天气信息执行midscene ./demo.yaml终端会输出执行进度结束后自动生成可视化报告。不想先搭环境的话也可以装它的 Chrome 扩展在任意网页里直接输入指令体验效果一套脚本跑多端Web、Android、iOS 和桌面核心逻辑统一放在 packages/core各平台通过适配层接入网页侧走 packages/web-integration 对接 Playwright 和 PuppeteerAndroid 侧基于 scrcpy 投屏控制iOS 侧依赖 WebDriverAgent桌面端则直接驱动鼠标键盘。 换个设备时基本只需改脚本开头的平台段落自然语言步骤可以原样复用。下面的截图就是它在 Android 真机上打开关于本机页面的过程上手前要注意的几件事成本每步操作都消耗一次模型调用长脚本建议换轻量模型或开启缓存复用已定位过的元素稳定性AI 识别有概率失误关键校验点优先用断言和结构化提取来兜底而不是只看执行日志已有项目Playwright/Puppeteer 测试里可以通过 Agent API 直接注入自然语言步骤不必推翻现有用例。先在浏览器里随便挑一个页面输入点击登录按钮试试效果跑通了再回头写第一个 YAML 脚本。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考