UI-TARS Desktop 完整指南用自然语言指令驱动桌面与浏览器自动化【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktopUI-TARS Desktop 是一款开源的 GUI 智能体桌面应用基于 UI-TARS 视觉语言模型把你输入的自然语言指令转换成对真实桌面和浏览器的实际操作。它处理的是重复性点选、表单填写、数据整理这类手动劳动适合想把固定流程交给程序执行的工程师和效率工具用户。先看两个真实任务先说结论不需要学任何脚本语言一句口语化的描述就是一条可执行任务。桌面任务修改 VS Code 自动保存指令打开 VS Code在设置中启用自动保存并把延迟设为 500 毫秒。截取当前屏幕定位 VS Code 图标并启动应用进入设置页找到文件自动保存选项打开 Auto Save将延迟填为 500再次截图确认改动生效浏览器任务收集 GitHub 趋势数据指令打开 GitHub 趋势页把前 10 个项目的名称和星标数写入本地文件。启动 Chrome 并导航到趋势页识别项目列表区域逐项提取名称与星标数按顺序写入本地文件返回完成结果附操作报告两个例子里你只负责写清做什么控件位置、页面结构、失败重试都由模型自己处理。它是如何做到的整个执行是一条闭环系统先对当前屏幕截图并交给视觉语言模型模型结合你的指令与屏幕内容输出一个结构化动作点击坐标、输入文本、滚动等动作解析器把它翻译成鼠标键盘事件由对应的操作器在桌面或浏览器中执行执行后重新截图回到第一步直到任务完成或达到 Max Loop 上限默认 100 步可在设置中调整。参数含义详见 设置配置文档。从安装到跑通第一个任务环境要求一张表系统要求macOS10.15 及以上目前只支持单显示器多屏环境可能导致任务失败WindowsWindows 10 及以上浏览器模式需预先安装 Chrome、Edge 或 Firefox稳定或开发版本均可快速安装与权限配置macOS 三步下载最新版应用。已装 Homebrew 的话一条命令即可brew install --cask ui-tars将 UI TARS 图标拖入 Applications 文件夹打开系统设置 隐私与安全性同时开启辅助功能和屏幕录制两项Windows 两步双击 Setup 安装程序出现安全提示时点击仍要运行连接模型Base URL 是头号易错点应用本身不带模型需要接入一个视觉语言模型服务。仓库文档给出两条现成路径自建 UI-TARS-1.5在应用内点 Deploy from Hugging Face选 UI-TARS-1.5-7B 部署完成后拿到 Base URL、API Key、Model Name火山引擎 Doubao-1.5-UI-TARS在控制台点立即体验进入 API 接入页获取 API Key切到 OpenAI SDK 标签页可直接复制 Base URL 与模型名在设置页填入 Provider、Base URL、API Key、Model Name 四项点 Check Model Availability 验证连通性再开始任务。三个最容易踩的坑HF 自建端点的 Base URL 必须以/v1/结尾少一个斜杠都连不上Provider 选项要和模型匹配HF 部署选 Hugging Face for UI-TARS-1.5不同 Provider 的动作格式解析逻辑不一样模型名要与服务端实际部署的完全一致别用记忆里的旧名最后点新建对话选择 Local Computer 或 Local Browser输入第一条指令。到这里第一次运行就算跑通了。模式选择与远程能力三种模式怎么选主界面可以切换操作范围选错模式是新手最常见的卡点之一维度本地桌面本地浏览器远程云端计算资源占用本机性能占用本机性能不依赖本机硬件数据隐私数据留在本机数据留在本机任务在隔离环境执行前置条件系统权限已开启额外要求 Chrome/Edge/Firefox依赖网络典型场景文件整理、桌面软件操作表单填写、页面导航、数据提取重任务卸载、跨设备执行关于远程模式需要说明官方免费的远程试用服务已于 2025 年 8 月 20 日停止之后如果仍需要云端执行可按 快速入门文档 中的说明自行部署 Remote Agent。执行过程看得见截图、日志与报告任务执行期间每一步都会实时留痕当前截图、模型判断、实际动作按顺序显示在会话里出问题能直接定位到具体哪一步。任务结束后可以导出 HTML 报告默认行为点 Export as HTML报告直接下载为本地文件若已在设置中配置 Report Storage Base URL则报告上传到你的存储服务并生成可分享链接远程会话中途要停止时点右上角 Terminate 结束会话远程资源随之释放翻车时先查这里现象可能原因处理办法macOS 上鼠标键盘无响应辅助功能或屏幕录制权限未开到系统设置 隐私与安全性重新开启两项重启应用任务无法开始或模型报错Base URL 未以/v1/结尾、API Key 填错核对四项配置后点 Check Model Availability 复验浏览器模式起不来未安装 Chrome/Edge/Firefox安装任一浏览器的稳定版或开发通道版本任务执行缓慢、步骤卡顿网络延迟或模型负载高换更近的模型服务适当调大 Loop Wait Time 等待页面渲染多屏环境下任务失败目前仅支持单显示器把窗口集中到主屏或暂时断开副屏进阶玩法与工作流企业场景日报自动流水线指令 UI-TARS 登录 CRM导出前一日销售数据整理数据并生成 Excel 报表发送报表到团队邮箱可量化收益这类重复流程手工执行通常耗时 2-3 小时/天交给自动化后基本只剩人工复核。个人场景技术阅读收集打开浏览器依次访问订阅的博客列表提取新文章的标题、摘要和链接按主题分类写入 markdown 文件生成当周摘要可量化收益原本 30 分钟以上的手动搬运压缩为一次审阅摘要的时间。两个场景的共同点把步骤固定、内容变化的流程写成一句话指令让模型处理细节。下一步按上文完成安装macOS 用户务必先开启两项系统权限接入模型并点 Check Model Availability确认连通再跑任务从打开浏览器访问一个网站这类单步任务开始再升级到多步骤流程配置调顺后导出为预设 YAML多台机器直接导入参考 预设管理文档官方资料快速入门设置与参数详解模型部署说明预设模板库SDK 开发指南现在就下载安装包把第一条指令跑通之后的每一步在文档里都有对应答案。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考