【免费下载链接】typesafe-computer-useComputer use for about $0.0002 a step: OCR the screen, classify the next action with TypeSafe, click. macOS.项目地址https://gitcode.com/gh_mirrors/ty/typesafe-computer-use点击查看免费下载typesafe-computer-use项目内简称jev是一个用分类器驱动的 AI 电脑操作工具你说一句英文目标它就能像人一样操作 Mac而每一步的成本只有约$0.0002。它看懂屏幕的方式非常特别——不靠大模型盯着截图硬猜而是靠一条五步决策循环先确定性地读屏OCR 辅助功能树再由代码补齐事实然后向 TypeSafe 分类器发一次请求回答三个选择题确定性地执行动作最后在分类器停步时由写作模型writer接管读屏作答。下面完整拆解这条循环的每一步。上图为项目测试夹具中的一张真实桌面截图左侧是 Chrome 书签页右侧浮着一个Restore pages?气泡弹窗——这正是一条分类器需要看懂的场景页面上的文字由 OCR 读而气泡里的 Restore 按钮只有辅助功能树能可靠给出五步循环会把两者合并成同一份编号物品清单。为什么不用大模型而是五步循环传统的前沿模型 computer use 每一步都要把整张截图发出去、等上几秒再拿到一个计划。但项目作者发现大多数步骤根本不需要计划只需要从一短名单里快速、便宜地选一个动作并给出可卡阈值的置信度来源README.md。TypeSafe 提供的正是这种决策模型对最多 255 个选项给出完整概率分布几百毫秒内返回输出 token 免费。于是整个项目被设计成一条围绕分类器的循环分类器负责选代码负责算事实写作模型只负责写自由文本。官方给出的实测对比同一张截图、同一个目标指标typesafe (jev)Claude 系大模型裸截图差距单次决策成本$0.0002$0.032155 倍更便宜模型延迟0.13–0.38 s5.2 s14–40 倍更快单步端到端含截图OCR约 1.5 s约 5.5 s3.7 倍更快12 步任务总成本$0.003$0.40–0.90130–300 倍更便宜代价也很诚实大模型能免费从像素里读出日期并比较而这条循环必须用代码把这些推理重建为确定性状态。这正是第二步存在的意义。五步决策循环总览 官方文档 docs/how-a-step-works.md 用一张流程图描述了完整走法核心就五步感知Perceive对最前窗口做 Vision OCR同时遍历辅助功能树Accessibility Tree两者合并成一份带来源标记的编号物品清单补事实Enrich代码在状态里加入日期偏移、重复标签所在的行、当前聚焦输入框、当前 App 与 URL、以及这个屏幕已经试过哪些动作决策Decide一次 TypeSafe 请求回答三个Choice——做什么类型的动作kind、点哪个物品item、去哪个网站site执行Act动作确定性地执行循环等待下一次截图是唯一证人接管Hand-off分类器停步done / 低置信度 / 卡死 / 步数用尽时writer 读屏作答或交还一个 focus / question 让循环继续下面逐步拆解。第一步感知——OCR 辅助功能树双通道读屏 这一阶段的关键思想是**结构化优先于像素**见 VISION.md先读能读到的结构OCR 只是兜底。OCR 只读该读的Vision OCR 约占一步时间的三分之二且按文本量计费所以省钱的唯一办法是少读屏幕docs/how-a-step-works.md裁剪Crop只读最前窗口 同列的菜单栏条带。桌面和后台窗口的文字对决策是噪音复用Reuse把新截图与上一帧按 256px 图块对比未变化的图块直接沿用上一步的识别结果只有变化的图块被聚成小矩形重新读时间行会诚实地告诉你读了多少例如ocr 0.31s (22% of screen, 2 rects)。辅助功能树补上 OCR 看不见的图标OCR 看不见图标辅助功能树能。每一步都会遍历最前进程收集有标签、在屏内的可操作控件。覆盖率因 App 而异Finder 100%、Chrome 88%、Slack 85%而 Spotify 只暴露 3 个窗口按钮。所以项目把 AX 定位为加成来源而非替代。树遍历还很狠地做剪枝防止被假坐标坑跳过真实 frame 不落在显示区内的子树跳过小于 4pt 的节点跳过AXMenu子树上限 4000 节点或 0.6 秒超了就明说两条通道最后合并成一份编号物品清单每项标注来源ocr文本块、ax控件、axocr两者指向同一物。OCR 从按钮上读到的符号比如书签星☆、返回箭头←会被当作那个控件的图标避免一个点击被拆成两个选项。第二步代码补事实——模型不再猜 大模型读屏时的免费推理日期比较、字段是否聚焦、URL 是否干净在这条循环里都要变成代码算好的状态这是整个架构最值得学的地方。代码会往状态里塞入事实例子日期偏移含日期的块标注dated 2026-10-13 (in 27 days)邻居块标注near a line dated ...重复标签的行信息三个活动都叫 Buy标签本身没信息布局有Buy (in the row of Coldplay, Oct 2)聚焦字段role、label、placeholder、当前值、位置当前 App 与页签 URL由 AppleScript 读出本屏已试过的动作哪些动作执行后又回到了这个屏幕这些事实由 typesafe_computer_use/dates.py日期、typesafe_computer_use/decide.py状态组装等模块负责让分类器只需要选择而不是理解推理。第三步一次请求回答三个选择题 ✅决策阶段是整个循环的心脏。每次只发一个TypeSafe 请求内含三个Choice有屏外控件时是四个kind : click_item | use_browser | type_text | scroll… item : 点哪个物品仅 click_item 时用 site : 去哪个网站仅 use_browser 时用 offscreen : 按哪个屏外控件仅 press_offscreen 时用把决策拆成三个问题是为了把屏幕噪音挡在动作选择之外。作者总结的一条血泪经验构建中遇到的每次卡死都源于两个选项其实一个意思——置信度衡量的是概率集中度选项重叠必然读作犹豫。动作集必须互斥typesafe_computer_use/decide.py 中的fixed_actions就是这张互斥动作表。完整动作空间节选自 docs/how-a-step-works.md动作说明click_item优先走辅助功能树按压控件否则鼠标点击物品中心use_browser切到浏览器并打开site答案指定的网站type_textwriter 起草文本经辅助功能树写入聚焦框再用 Noul 校验字段值press_offscreen按压应用暴露但当前不可见的控件如自动隐藏 Dockscroll_up/scroll_down滚动 10 行wait页面还在加载等 3 秒done/none停止第四步确定性执行下一帧屏幕是唯一证人 ️动作执行是完全确定性的代码路径typesafe_computer_use/actions.py没有任何模型参与。这里有个朴素但深刻的设计动作描述里不写效果只有下一帧截图才能证明发生了什么。所以循环维护一份屏幕签名App 页面 页面文本用于检测卡死连续3 次动作后屏幕没变被拒的动作、加载中空等的 wait、滚到底的 scroll→ 停连续2 次做出本屏早前已试过的动作点了一个没反应的按钮或两个页面来回跳→ 停两帧算同一个屏幕的判定很宽容最多差 1 行文本且该行 ≤ 总行数的 1/10这样时钟跳动、跑马灯不会伪装成有进展规则整体偏宁可继续跑绝不轻易停掉一个正在推进的循环。另外每次点击/按键/滚动前都会检查鼠标是否在屏幕左上角——那是用户的物理急停开关从任何 App 里把鼠标甩到左上角都能立刻停住整个运行。第五步分类器停步后Writer 接管 ✍️分类器从不生成文本它只会停下。一旦停下done/none、置信度低于--min-confidence默认 0.4、卡死、步数用尽writer 模型接管读屏返回一个结构化答案{achieved, answer, focus, question}三个出口answer目标要的信息或目前进展 卡在哪focus一句话的下一步Click the Arrives in 2-4 days filter连同原目标一起放回分类器状态循环继续跑。实测中一次 0.39 置信度停步的截图加上 focus 后同一个分类器能到0.92直接选对question只有你能回答的问题13 寸还是 15 寸在终端问你回答会并入状态安全阀--handoffs默认上限 10 次提问最多 3 次第三次卡死在同组页面上则判定stuck收场。writer永远不直接挑点击——每个动作仍是分类器的决定。每次运行结束时还会打印谁干了多少活这是整个设计的健康指标calls: classifier 14 (82%, 3.9s) writer 3 (18%, 21.4s) handoffs 1 questions 0如果 writer 占比变高说明状态分类器读到的东西需要修而不是加更多 hand-off。关键模块导航 想看源码项目模块划分一目了然完整地图见 docs/layout.md模块职责typesafe_computer_use/perception.py截图、OCR、读屏区域、变化图块缓存、块合并、物品合并typesafe_computer_use/decide.py状态、判据、三 Choice 请求、Noul 校验typesafe_computer_use/actions.py每个动作一个处理器typesafe_computer_use/runner.py步骤循环、run folder、停止规则、与 writer 的 hand-offtypesafe_computer_use/writer.pywriter 模型、结构化回复、URL 校验、带 focus/question 的答案docs/how-a-step-works.md单步全流程官方详解强烈推荐阅读快速上手第一次跑通五步循环 环境要求macOS 14 / Python 3.12 / uv。git clone https://gitcode.com/gh_mirrors/ty/typesafe-computer-use cd typesafe-computer-use uv sync cp .env.example .env # 填入 TYPESAFE_API_KEY记得给终端授予Screen Recording否则截图是壁纸和Accessibility否则--act拒绝启动两个权限然后uv run clicker open the Playground # 干跑走一步打印它会做什么 uv run clicker open the Playground --act # 真的驱动鼠标键盘 uv run clicker-inspect any goal # 3-2-1 倒计时后截图并打开标注界面小贴士先清空终端再跑——终端在屏幕上它的文字也是 OCR 输入的一部分 。小结五步循环的设计智慧 便宜在少问把能算的日期、行号、URL、聚焦全部交给代码模型只做选择题感知是双通道OCR 管文字辅助功能树管图标合并成一份清单决策拆三个问题动作、物品、站点互不干扰动作集严格互斥截图是唯一证人卡死检测靠屏幕签名而不是模型自述停步不是失败writer 的 focus / question 让循环带着故事继续跑这套五步决策循环把AI 看懂屏幕从昂贵的整帧推理变成了一条每步 $0.0002、约 1.5 秒的确定性流水线——这正是 typesafe-computer-use 的核心价值所在。赞分享【免费下载链接】typesafe-computer-useComputer use for about $0.0002 a step: OCR the screen, classify the next action with TypeSafe, click. macOS.项目地址https://gitcode.com/gh_mirrors/ty/typesafe-computer-use点击查看免费下载相关推荐终极电脑操作革命如何用self-operating-computer让AI自主看懂并控制屏幕终极电脑操作革命如何用self operating computer让AI自主看懂并控制屏幕 self operating computer是一款革命性的AI人工智能大模型AI 应用GUI 自动化AI AgentCheating Daddy屏幕分析功能详解如何让AI看懂你的屏幕内容Cheating Daddy屏幕分析功能详解如何让AI看懂你的屏幕内容 Cheating Daddy是一款开源的实时AI助手应用通过屏幕捕捉和音频分析技术AI 应用交互助手OmniTool深度解析AI如何真正看懂你的电脑屏幕OmniTool深度解析AI如何真正看懂你的电脑屏幕 还在为复杂的自动化脚本和API集成而烦恼吗想象一下如果AI能够像人类一样直接看懂电脑屏幕并人工智能计算机视觉AI AgentGUI 自动化大模型创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考