Midscene.js 快速上手10 分钟让 AI 自动点击你的页面和手机【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene.js 是一个 GUI Agent 驱动的 E2E 测试框架你用自然语言说点什么、查什么它截图看懂页面后自己点击、输入并验证结果。跟着做完本文你会跑通模型配置、在浏览器里发出第一条自动化指令并把同样的能力接到桌面 Chrome 和 Android 真机上每步都有可回放报告。先跑起来4 步发出第一条 AI 指令✅ 最短路径全程不用 clone 仓库配模型设置 4 个环境变量指向一个能看懂 UI 的多模态模型服务。export MIDSCENE_MODEL_BASE_URLhttps://ark.cn-beijing.volces.com/api/v3 export MIDSCENE_MODEL_API_KEYyour-api-key export MIDSCENE_MODEL_NAMEdoubao-seed-2-1-turbo-260628 export MIDSCENE_MODEL_FAMILYdoubao-seed装扩展在 Chrome 应用商店安装 Midscene 插件浏览器右侧出现侧边栏。贴配置点侧边栏设置图标把上面 4 个值粘进设置页保存。发指令打开任意网页输入点击登录按钮AI 会理解页面并自动执行。执行完自动生成 HTML 报告默认落在midscene_run目录截图、每步决策和断言结果都能逐步回放。这个侧边栏就是官方 Playground它和 SDK 共享同一套代码——这里跑通的指令换成脚本行为完全一致。换个场景脚本怎么接管你登录的桌面 Chrome前置条件扩展已装好注意桥接模式的模型配置要写在终端Node.js 侧不是浏览器侧。项目里安装midscene/web和tsx写最小脚本import { AgentOverChromeBridge } from midscene/web/bridge-mode; const agent new AgentOverChromeBridge(); await agent.connectNewTabWithUrl(https://www.bing.com); await agent.ai(type AI 101 and hit Enter); await agent.destroy();跑npx tsx demo.ts扩展弹出确认窗点Allow或Always Allow预期结果桌面 Chrome 新开标签页被脚本控制cookies 和登录态直接复用aiAct、aiAssert等 API 与浏览器内用法相同——自动化测试里典型的人在回路协作。网页侧跑通后下一步把目标从屏幕移到手机。换个场景Android 真机怎么连给 AI 操作前置条件电脑装好 adb手机在开发者选项里开了 USB 调试若见USB 调试安全设置也一并开。adb devices -l出现设备序列号连接才算成功起 Playgroundnpx --yes midscene/android-playground点窗口里的齿轮按钮贴入 API Key 配置输入打开浏览器搜索 SU7AI 自行规划执行预期结果手机上的每次点击、滚动和断言都带截图写进报告打开报告文件即可逐步回放。之后把同一句指令交给 Android SDK 的AndroidAgent就能进正式测试脚本。出问题怎么办6 个高频故障一行修统一格式现象 → 原因 → 解法。⚠️adb devices只显示unauthorized→ 手机没授权 → 手机上点一次允许 USB 调试弹窗报Cannot access a chrome-extension:// URL→ 其他扩展注入了 iframe/script 造成冲突 → 开发者工具里复制该扩展 ID到chrome://extensions禁用它本地 Ollama 报 403 → 来源限制 →export OLLAMA_ORIGINS*配了 cache 却没生成文件 → 没配 id → 写cache: { id: 任务名 }read-only模式还要手动调agent.flushCache()本地命中缓存、CI 全重算 → 缓存目录没进仓库 → 把./midscene_run/cache提交进去Azure 上 GPT-5 点击坐标偏移 → 高分辨率截图触发服务端缩放 →screenshotShrinkFactor: 2预先缩小截图参数速查参数建议值什么时候用MIDSCENE_MODEL_NAME支持 UI 定位的多模态模型所有场景必配MIDSCENE_MODEL_TIMEOUT180000默认 180 秒模型响应慢时上调MIDSCENE_MODEL_RETRY_COUNT1默认网络不稳时加到 2–3cache{ id: 任务名 }调试期读写模式省模型调用cache.strategyread-only生产环境防止缓存被改写MIDSCENE_RUN_DIR自定义路径报告/日志/缓存集中管理bridgeModenewTabWithUrlYAML 脚本接管本地 ChromescreenshotShrinkFactor2高分辨率下省 token、规避坐标偏移以上为通用推荐按实际环境微调。下一步去哪平台完整配置apps/site/docs/zh/platforms/iOS、HarmonyOS、桌面端三种缓存策略的取舍apps/site/docs/zh/caching.mdx模型选择与配置示例apps/site/docs/zh/model-common-config.mdx报告生成核心逻辑packages/core/src/report-generator.ts如果你是 Web 测试先跑起来的需求从 Chrome 扩展配好模型发一条aiAct开始如果目标是真机自动化先把 adb 连接修好再跑一遍 Playground——参数改对没改对报告里一看便知。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
