资讯动态

Midscene、Kelivo、OpenMinis、mobile-mcp:2026 移动端 AI 自动化全家桶盘点

发布时间:2026/10/16 11:16:51 来源:尧图企业网站定制
Midscene、Kelivo、OpenMinis、mobile-mcp2026 移动端 AI 自动化全家桶盘点【免费下载链接】mobile-mcpModel Context Protocol Server for Mobile Automation and Scraping (iOS, Android, Emulators, Simulators and Real Devices)项目地址: https://gitcode.com/GitHub_Trending/mo/mobile-mcp2026 年的移动端自动化正处在一场由 MCPModel Context Protocol掀起的标准化拆迁之中。谷歌把基于 MCP 的多模态自动化框架 ARTEMIS 开源OpenAI 将 ChatGPT 的事件触发能力开放给 MCP鸿蒙全面向 Agent 架构演进手机厂商争抢AI 入口——这些信号叠加在一起指向同一个结论Agent 替你点手机已经不只是演示而是正在被协议化、工程化、产品化。与此同时围绕移动端 AI 自动化这个命题市面上出现了四个名字频繁出现在技术社区热搜里Midscene、Kelivo、OpenMinis以及今天文章的主角 mobile-mcp。它们同属移动端 AI 自动化赛道却各自站在产业链的不同位置。本文以 mobile-mcp 的仓库源码为解剖样本结合全网情报梳理这四款产品的定位差异、能力边界与生态关系给正在选型或打算入局的读者一张可落地的地图。一、四家全家桶成员各站各的位置先给四款产品各来一句定位总结避免全家桶这个说法让人误以为它们互为替代品Midscene视觉驱动的 UI 自动化引擎2026 年初发布 v1.0主打用多模态模型看屏幕来驱动网页与移动端 UI 测试官方宣传语是视觉驱动UI 自动化体验跃迁——它解决的是传统定位器在界面频繁改版下不断失效的问题。Kelivo开源跨平台 AI 客户端以支持 MCP 与鸿蒙 Next为卖点上架。它是终端用户的入口——把各种 MCP Server 聚合在一个本地客户端里让普通用户也能在鸿蒙等原生系统上跑 AI 任务。OpenMinis把 AI Agent 塞进手机的开源移动端智能助手框架支持 Android、iOS、visionOS 三端具备多模型调度、网页操作、设备控制、MCP 协议集成与自定义 Skills 扩展主打本地优先与隐私保护。mobile-mcp面向开发与测试场景的移动设备控制层——一个标准的 MCP Server让任何 MCP 兼容的 AgentClaude Code、Codex、Gemini、Copilot 等通过一套统一工具驱动 iOS/Android 的模拟器、仿真器与真机。它不定义 Agent 长什么样而是定义手怎么动。一句话总结这四者的关系Kelivo 是柜台OpenMinis 是柜台里的店员Midscene 是盯着屏幕的眼与手mobile-mcp 是插在任何 Agent 身上的通用手臂——它们不在同一层也因此构成了完整的移动端 AI 自动化全家桶。二、mobile-mcp 源码解剖无障碍树优先、视觉兜底的双通道路线mobile-mcp 的核心设计哲学在 README.md 里被明确标注为 Accessibility-first — fast and cheap默认从原生无障碍树accessibility tree读取 UI不依赖视觉模型、不消耗图像 token只有无障碍树缺失时才回退到截图 坐标。这与谷歌 ARTEMIS 的截图 控件树双通道思路同向但 mobile-mcp 把无障碍树提到了绝对优先级——社区里对 ARTEMIS 的实战反馈中反复出现幻觉点击、动态界面干扰等问题而 mobile-mcp 用结构化的确定性输出ref 坐标 属性从根上规避了这类问题。这套理念在代码里是层层落实的。服务端的系统提示词src/server.ts 中的SERVER_INSTRUCTIONS直接给 Agent 写了行为规范用mobile_list_elements_on_screen读屏幕而不是截图——它返回 ref、坐标和标签按 ref 点击可以天然免疫不同设备间的布局差异截图仅用于层级中缺失的元素或判断视觉效果每次调用都是一次设备往返把已知序列tap、type、tap合并进mobile_batch_commands打开应用优先mobile_launch_app打开网页优先mobile_open_url而不是在 UI 里走迷宫。更妙的是坐标映射的处理。src/coordinate-mapping.ts 专门解决一个工程痛点截图通常被压缩到maxSize1024以内src/server.ts 的mobile_take_screenshot默认以 JPEG 返回而 iOS 屏幕以 point 计、全尺寸截图以 pixel 计Agent 在图上看到的坐标和实际点击坐标几乎从来不是一个坐标系。describeCoordinateMapping会在返回截图的同时用自然语言告诉模型把图中坐标的 x 乘以 X、y 乘以 Y 才是屏幕坐标——这是很多移动端 MCP 项目忽略、却直接影响点击命中率的细节。工具面覆盖得相当完整几乎可以视为移动端自动化的标准工具集设备管理mobile_list_available_devices、屏幕尺寸/方向、折叠屏姿态、GPS 覆盖、剪贴板App 管理安装/卸载/启动/终止/列出已装应用、前台应用查询屏幕交互按坐标或按 ref 点击/双击/长按、滑动、截图、录屏输入与导航键入、硬件按键含 Android TV 的 D-pad、打开 URL日志与崩溃mobile_get_device_logsAndroid logcat / iOS unified log支持按 pid、tag、level 过滤、崩溃报告读取批量执行mobile_batch_commands把多个工具串成一次调用如点击 → 输入 → 点击 → 输入并把每步结果拼接返回显著降低设备往返延迟。底层实现体现了一套 API、所有目标的平台无关性。Robot抽象src/robot.ts把设备能力统一成接口默认走MobileDevice——即 mobilecli 这条新链路mobilecli 是一个按平台/架构分发的 Go 原生二进制src/mobilecli.ts 里通过mobilecli-platform-archscoped 包解析路径负责跨 iOS/Android 的统一设备控制而设置MOBILEMCP_LEGACY_ROBOT1时可以回退到平台原生机器人——Android 走 adb uiautomator XML 解析src/android.tsiOS 走simctl WebDriverAgentsrc/iphone-simulator.ts。这种新链路默认、旧链路兜底的设计保证了不同工具链环境下都能跑起来。云端能力是它区别于同类项目的一大特征。通过mobile_login_to_cloud_provider、mobile_allocate_remote_device、mobile_release_remote_device三个工具Agent 可以直接从 Mobile Next Cloud 的远程真机池中按平台/机型/系统版本筛选并独占一台物理设备用完释放回池。配套的提示词工程也很克制——服务端指令明确要求只在本地无设备或用户同意时使用远程设备任务结束立即释放避免 Agent 悄悄花掉用户预算。值得一提的还有终端内的实时镜像插件。README 展示了 Claude Code 中/mobile-mirror的效果在支持 kitty graphics protocol 的终端kitty、Ghostty里Agent 会话旁边直接显示设备实时画面点击画面即可触控无需离开终端配套的 skills/mobile-automation/SKILL.md 则把完整工作流沉淀成了 Agent 技能选设备 → 读无障碍树 → 执行操作 → 每步后重新核对界面再进下一步明确提示UI 有动画期望元素未出现时先等待再查不要盲点。这套观察-行动-验证循环正是 ARTEMIS 感知-动作闭环的工程化版本但 mobile-mcp 把它收敛到了对 Agent 更友好的确定性接口上。三、能力矩阵横向对比把四款产品放到同一张表里差异一目了然维度MidsceneKelivoOpenMinismobile-mcp核心形态视觉驱动 UI 自动化引擎/测试框架开源跨平台 AI 客户端移动端 AI Agent 框架移动设备控制 MCP Server目标用户测试工程师、RPA 场景C 端用户、鸿蒙用户端侧 Agent 开发者开发者、测试工程师、AI Agent感知方式视觉多模态模型看屏幕客户端聚合 MCP 服务多模型调度 网页/设备操作无障碍树优先 截图坐标兜底支持平台网页 移动端 UI跨平台含鸿蒙 NextAndroid / iOS / visionOSiOS / Android模拟器、仿真器、真机MCP 支持依赖 MCP 生态集成作为 MCP 客户端聚合器集成 MCP 协议本身就是标准 MCP Server主要卖点定位器失效问题的解法鸿蒙生态的 AI 入口本地优先 隐私保护平台无关、确定性输出、云真机弹性值得注意的是这四家对自动化的理解并不一致Midscene 赌的是视觉即定位OpenMinis 赌的是端侧 Agent 自治而 mobile-mcp 赌的是结构化数据比眼睛更可靠。从社区对视觉方案的实战反馈幻觉点击、动态界面干扰、输入法适配等高频踩坑来看视觉路线在探索性任务上不可替代但在需要高确定性的测试与数据录入场景无障碍树 ref 的方案更稳——这也是 mobile-mcp 敢于在 README 中宣称消除截图方案的歧义的底气。四、生态协作还是各自为战表面看Midscene、Kelivo、OpenMinis、mobile-mcp 各说各话但把它们放进 MCP 的统一坐标系里协作大于竞争的图景就清晰了。MCP 协议是这盘棋的粘合剂。Kelivo 作为一个客户端价值恰恰来自它聚合了大量 MCP ServerOpenMinis 把 MCP 协议集成进手机端让手机上的 Agent 可以调用桌面端的工具Midscene 和 mobile-mcp 则分别从视觉和控件两个方向成为 MCP 生态里的能力提供者。当 ChatGPT 的事件触发都开放给 MCP、当苹果和三星开始抢AI 手机入口这套客户端 Agent 工具 Server的分工已经是行业共识——没有谁需要吃掉谁谁把接口做标准谁就能被所有人调用。mobile-mcp 自身就是生态协作的示范。README 里明确它是 Mobile Next 工具链的一部分mobileclimobile-mcp 依赖的通用设备 CLI从命令行或 JSON-RPC 控制设备、模拟器、仿真器mobilewright被 README 称为Playwright for mobile当 Agent 驱动的探索性操作要沉淀为可复现、确定性的测试时从 mobile-mcp 平滑升级package.json 中已内置mobilewright0.0.63依赖Mobile Next Cloud同一套代码栈的租赁版按需租用真实 iOS/Android 设备适合 CI 规模化。这条链路恰好补上了Agent 探索 → 回归测试 → 云上规模化的最后一公里也让 mobile-mcp 与传统的 Appium/Maestro 形成了互补而非替代关系社区里已有大量把 Maestro 包装成 MCP Server、让 LLM 直接驱动移动端 E2E 的实践mobile-mcp 选择从协议层做统一与这类包装式方案走的是不同路线。此外项目本身的技术演进也透露出对协议生态的敏锐默认 stdio 传输同时支持--listen启动 Streamable HTTP无状态、无会话亲和适合 Smithery 等水平扩展宿主并用MOBILEMCP_AUTH提供 Bearer 鉴权、自动启用 Host 头 DNS 防重绑定src/index.ts 中同时兼容 2025 年initialize握手与 2026-07-28 版本server/discover探针两个协议时代。仓库 git 记录显示就在文章写作的数日前2026-10-07项目仍在持续更新——这更像一个活跃运转的生态节点而非孤立的玩具。五、新入局者建议如果读者也想在移动端 AI 自动化里分一杯羹从这四家身上可以提炼几条实操建议先选层再造轮子。想做入口学 Kelivo 做客户端聚合想做端侧自治学 OpenMinis 做框架想解决测试痛点学 Midscene 或 mobile-mcp 做工具。不要一上来就试图全栈覆盖——四家之所以能并存正因为每一层都有独立价值。把无障碍树当成第一公民。mobile-mcp 的源码证明结构化 UI 数据比纯视觉更便宜、更稳定、更容易做确定性输出。如果走视觉路线务必把截图坐标系 → 屏幕坐标系的映射参考 src/coordinate-mapping.ts做成显式的、对模型友好的提示这是点击命中率的命门。用提示词工程管住 Agent。mobile-mcp 的服务端指令是一份值得抄的作业明确先列设备、优先树而非截图、按 ref 点击、批量合并往返、远程设备用完即释放。自动化框架的稳定性一半在代码一半在给 Agent 的边界。预留云端与协议演进的接口。云真机、Streamable HTTP、双协议时代兼容、可关闭的遥测MOBILEMCP_DISABLE_TELEMETRY——这些设计让 mobile-mcp 既能跑本地也能上 CI、上云端。新项目一开始就应把本地 / 云端 / CI三态跑通。回到开头的问题2026 年的移动端 AI 自动化早已不是哪个框架更强的零和游戏而是一场围绕 MCP 的分层协作竞赛。Midscene 在视觉层证明看的能力OpenMinis 在端侧证明自治的边界Kelivo 在客户端证明聚合的价值而 mobile-mcp 用一整份可读的、工程化的源码证明了协议 设备控制层是这一切的地基——读懂它就读懂了这套全家桶的组装逻辑。【免费下载链接】mobile-mcpModel Context Protocol Server for Mobile Automation and Scraping (iOS, Android, Emulators, Simulators and Real Devices)项目地址: https://gitcode.com/GitHub_Trending/mo/mobile-mcp创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑