资讯动态

Midscene:自然语言浏览器自动化,3步从入门到跑通

发布时间:2026/9/11 13:32:20 来源:尧图企业网站定制
Midscene自然语言浏览器自动化3步从入门到跑通【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene 是一个开源的 AI 浏览器自动化 SDK自带一个装好就能用的 Chrome 扩展。它解决的正是想自动填表单、抓数据、点重复按钮但又不想写代码的难题。读完这篇文章你能把仓库克隆下来、在 Chrome 里加载扩展并让浏览器听你一句自然语言指令自动干活。场景切入——你大概率会用到它的这几个时刻每天早上打开后台手动把十几条商品数据复制粘贴进 Excel每次发版前都要在测试环境重复点同一组按钮走一遍流程想验证页面顶部是否有导航栏但你自己写不出 CSS 选择器。这些事的共同点是规则简单、重复度高、但人手做又枯燥。有没有办法不用写代码就能搞定这个扩展的思路就是你用大白话描述做什么它看截图理解页面替你点鼠标和打字。跑通它——从克隆到第一次跑通浏览器自动化准备确认本机装了 Node.js 20 和 pnpm然后克隆仓库并进入扩展目录。git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene/apps/chrome-extension构建/安装在项目根目录装依赖再构建扩展。pnpm install pnpm run build构建成功后会生成dist目录。接着打开chrome://extensions/启用右上角开发者模式点加载已解压的扩展程序选择dist目录。执行第一个任务点工具栏的 Midscene 图标侧边栏会打开在设置里粘贴你的模型配置API Key、模型名等并保存打开任意网页在 Action 输入框里输入输入 Midscene 并点击搜索点 Run。你应该看到浏览器自动移动光标、把关键词打进搜索框、按下回车全程不用你碰鼠标。能力拆解——它到底能替你干什么用自然语言驱动。你不需要知道元素在 DOM 的哪个层级扩展会先对页面截图做视觉理解再决定点哪里、输什么。页面结构变了它通常还能自己找回来不像选择器一失效就整条脚本报废。适合所有人这是最基础的使用方式。本地终端桥接Bridge 模式。在侧边栏开启 Bridge Mode 后你本地终端跑的 Node 脚本就能直接控制你桌面上正在用的这个 Chrome连登录态、Cookie 都能复用。相当于脚本自动跑、人手随时能插一脚。适合想写脚本又不想维护无头浏览器的开发者和测试人员。移动端控制。同一套自然语言接口换到 Android 设备上也能用连上手机输入打开设置查看安卓版本它自己找图标、自己点。适合要同时维护 Web 和 App 测试的同学。照着抄就行——3 个可直接套用的任务模板商品价格采集适用场景列表页数据要反复人工复制。打开商品列表页切到 Query 输入框输入商品{name: string, price: number}[]点 Run 直接拿 JSON 结果表单批量填写适用场景注册、工单、反馈类表单反复填。打开目标表单页在 Action 里逐句描述填写什么让它在测试数据上先跑一遍确认无误后再正式提交页面状态断言适用场景发版后想快速确认页面没崩。切到 Assert 模式输入页面顶部显示导航栏跑一遍看断言结果失败时看报告定位原因排错手册——遇到这些情况别慌现象大概率原因处理动作扩展图标灰了、面板打不开浏览器版本旧或加载了不完整的 dist更新 Chrome重新 build 后再加载点 Run 没反应模型没配置或 Key 失效打开设置检查模型配置换一个能用的 Key报Cannot access a chrome-extension:// URL别的扩展往页面里注了脚本产生冲突按提示找到冲突的扩展 ID禁用后刷新页面Ollama 模型报 403本地 Ollama 没放行扩展来源设置环境变量OLLAMA_ORIGINS*后重启指令跑一半找不到元素页面还没加载完或描述太模糊等页面稳定再跑指令里把元素位置说得更具体如果还不行先在侧边栏里点 Report 看执行报告哪一步失败、页面当时长什么样都能回放再对照仓库里 apps/site/docs/zh/faq.md 排查。继续往下走刚跑通apps/site/docs/zh/quick-start.mdx 快速开始apps/site/docs/zh/model-config.mdx 模型配置参考想深入apps/site/docs/zh/bridge-mode.mdx 桥接模式详解packages/core/src/ 核心源码packages/cli/tests/midscene_scripts/ 现成的 YAML 示例脚本想贡献apps/chrome-extension/src/ 扩展源码CONTRIBUTING.md 贡献指南打开 Chrome把扩展装上输入你的第一句指令吧。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价