资讯动态

Agents API 支持 computer use 了:让 AI 点界面之前,这笔账得先算清楚

发布时间:2026/10/23 2:46:26 来源:尧图企业网站定制
本文是「Agent 工程实战」系列的第 11 篇属于界面线。系列索引21 篇阅读路线Agent 放权前先补权限、出站、发现这三道口子摘要09.29 DevDay 上OpenAI 把 computer use 正式做进了 Agents API——之前还是模型能操作界面的能力演示现在变成开发者可以调用的 API 能力。但这背后有一笔账Agent 走截图→坐标→点击循环每一步都在烧 token成本可能比让 AI 直接调接口高一个量级。本文从官方定价出发把AI 点界面和AI 调接口的成本结构拆开算了一遍给出一张成本对照表和一套决策框架文末附可直接勾选的检查清单。文章目录先说这次的变化computer use 到底怎么干活这笔账怎么算官方定价先摆出来一轮截图→判断→点击烧什么社区里有人测过的对比用官方定价把两边算出来核心结论差在哪那到底什么时候该用 computer usecomputer use 的边界检查清单先说这次的变化9 月 29 号 OpenAI 开完 DevDay发的东西很多。我最关心的是这一条The Agents API now supports computer use so developers can build agents that interact with software to complete tasks. It also brings Codex’s multi-agent capabilities, tool search, tool calling, and context compaction into your application. OpenAI runs the underlying infrastructure so your team can focus on building the application.来源DevDay 2026 RecapAgents API 支持 computer use 了开发者可以构建能操作软件的 agentCodex 的多 agent、tool search、tool calling、context compaction 这些能力一并带进来底层基础设施由 OpenAI 托管。这条消息放在九月初还不敢想。九月初我写AI 都要自己点界面了的时候computer use 还是模型能力层面的演示9 月 10 号 Agents API 上线官方示例里全是 MCP 和工具调用现在官方把 computer use 作为托管的 API 能力交到开发者手里——让 AI 操作界面从演示变成了开发者接口。computer use 到底怎么干活要把账算明白先得知道 computer use 是怎么干活的。主流的 computer use 走的是观察-行动循环┌─────────┐ 截图 ┌──────────────┐ 预测坐标 ┌─────────┐ │ 目标界面 │ ───────→ │ 模型(看屏幕) │ ────────→ │ 执行点击 │ │(桌面/页面)│ ←─────── │ │ ←──────── │ 滚动/输入 │ └─────────┘ 状态变化 └──────────────┘ 动作结果 └─────────┘ 每一轮循环截图 → 判断 → 动作 → 再看模型拿一张屏幕截图判断这里有个按钮输出一个坐标系统去点击点完再看一眼新截图决定下一步。整个任务就是无数个这样的循环叠出来的。Codex、OpenAI 的 CUAComputer-Using Agent、Anthropic 的同名方案基本都是这套思路——各家在感知上的具体实现有差异有的纯截图有的结合可访问性树拿语义但看→判断→操作→再看这个循环和它的成本结构是共同的差别只在单轮烧多少 token。这套机制的好处是通用不挑系统、不挑页面有屏幕就能操作。代价也在这里——每一步都要把看屏幕这件事变成 token 花出去。这笔账怎么算官方定价先摆出来GPT-6.1 Sol 是 09.29 和 DevDay 一起发的官方说它在编码、computer use、专业文档处理这些方向上接近 Astra价格是 Astra 的五分之一适合日常 agent 任务。官方 API 标准价来源Introducing GPT-6.1 Sol计费项GPT-6 AstraGPT-6.1 Sol标准输入$10 / 百万 token$2 / 百万 token缓存输入$1 / 百万 token$0.10 / 百万 token输出$50 / 百万 token$10 / 百万 token五分之一的价格在表里看得很清楚输入输出都是五分之一缓存输入干脆差了一个量级。注意缓存输入那个价格它只对重复喂同一段上下文有效不是所有输入都能按这个算。我刚看到这个数字的时候差点误会以为整篇对话都能按缓存价走——实际缓存价只是标准输入的 5%省是真省但不是全部对话都适用。一轮截图→判断→点击烧什么截图本身作为图像输入喂给模型按图像 token 计费。一张高清量级的截图按各家的估算口径大概折合一两千 token具体跟分辨率、跟模型都有关系也有实现走可访问性树拿文本单轮更省——那种就把脚本里的图像 token 参数调小就行成本结构不变模型判断看屏幕、想该点什么这部分走输出 token动作执行输出一个坐标、一次点击指令token 很少但架不住次数多所以单轮循环的大头在看图和思考。一个任务几十轮循环下来token 就滚起来了。社区里有人测过的对比之前社区有人做过一次公开对比实验同一个内部工具任务让视觉派 agent截图坐标那套和结构化接口直接调 API各走一遍——视觉派跑了四五十步、烧掉接近五十万 token结构化接口七八次调用、一万多 token光 token 量就差了几十倍。数据来自社区公开实验不是官方基准你换任务换模型数字会变但量级关系基本是这个意思。我的经验也是这个方向。第二弹那篇写过我们后台给老系统补了个只读导出接口之后Agent 从十几步界面点选变成一次接口调用回放里点偏造成的错文件再没出现过——不是界面操作不可用是每一步都在付账。用官方定价把两边算出来光说贵一个量级不够我用官方价格自己写了个小脚本把两边的成本结构按同一口径算出来。为啥要看这段同样的计费规则下点界面和调接口的成本差距到底是多少不能拍脑袋得算。// 成本估算GPT-6.1 Sol 官方价$/百万tokenconstPRICES{input:2,// 标准输入output:10,// 输出};// computer use每轮循环 1张截图(图像token) 判断输出 动作输出functioncomputerUseCost(steps,imgTokensPerShot,thinkTokensPerStep){constinputTokenssteps*imgTokensPerShot;// 截图累积constoutputTokenssteps*thinkTokensPerStep;// 思考动作累积return{steps,inputTokens,outputTokens,totalUsd:(inputTokens/1e6)*PRICES.input(outputTokens/1e6)*PRICES.output,};}// 结构化通道几次调用文本输入为主functionapiCost(calls,inputTokensPerCall,outputTokensPerCall){constinputTokenscalls*inputTokensPerCall;constoutputTokenscalls*outputTokensPerCall;return{calls,inputTokens,outputTokens,totalUsd:(inputTokens/1e6)*PRICES.input(outputTokens/1e6)*PRICES.output,};}// 演示参数点界面45轮(截图1800tok/张思考600tok/轮)调接口8次(输入800输出400)constcucomputerUseCost(45,1800,600);constapiapiCost(8,800,400);console.log(computer use(点界面) 成本明细:);console.log(JSON.stringify(cu,null,2));console.log(structured API(调接口) 成本明细:);console.log(JSON.stringify(api,null,2));console.log(倍率: (cu.totalUsd/api.totalUsd).toFixed(1)x);运行结果Node 25.8.2 实测参数只是演示口径你按自己场景改computer use(点界面) 成本明细: { steps: 45, inputTokens: 81000, outputTokens: 27000, totalUsd: 0.432 } structured API(调接口) 成本明细: { calls: 8, inputTokens: 6400, outputTokens: 3200, totalUsd: 0.0448 } 倍率: 9.6x同样一个任务按同一条计费口径算点界面比调接口贵了将近十倍。这四毛多花在哪拆开看computer use 版的成本是两块看图的截图输入占四成左右思考的输出占六成——输出单价贵 5 倍所以单笔大头其实在思考那半边。两块都要算但截图这块最容易被漏掉读一个数据也要先看一眼很多人算账时根本没把它当成本。这个忽略不是说着玩的。我自己给预算的时候也犯过同样的错只盯着模型的输出 token觉得每一步就点一下能有多少截图作为图像输入那部分完全没算进去。同样是 45 轮循环两种算法的结果差多少看这段独立可跑// 反例错误算法 vs 完整算法同一任务同一口径constPRICES{input:2,output:10};// GPT-6.1 Sol// 完整算法输出 token 截图(图像输入) token 一起算functionfullCost(steps,imgTokensPerShot,thinkTokensPerStep){constinputTokenssteps*imgTokensPerShot;constoutputTokenssteps*thinkTokensPerStep;return{totalUsd:(inputTokens/1e6)*PRICES.input(outputTokens/1e6)*PRICES.output,};}// 错误算法只算输出 token漏掉图像输入这块functionwrongCost(steps,thinkTokensPerStep){constoutputTokenssteps*thinkTokensPerStep;return{totalUsd:(outputTokens/1e6)*PRICES.output};}constrightfullCost(45,1800,600);constwrongwrongCost(45,600);console.log(错误估法(只看输出): wrong.totalUsd.toFixed(3) USD);console.log(完整估法(含截图输入): right.totalUsd.toFixed(3) USD);console.log(低估比例: (right.totalUsd/wrong.totalUsd).toFixed(1)x);运行结果Node 25.8.2 实测错误估法(只看输出): 0.270 USD 完整估法(含截图输入): 0.432 USD 低估比例: 1.6x漏掉图像输入预算少算四成左右——错误算法估出来 0.27真实要 0.43。算 computer use 的账图像 token 那项不能省。前面两个脚本你拿回去就能用把 PRICES 换成你用的模型价格把步数和每轮 token 换成你任务的实际值跑一遍就是你的账单图像 token 的估算口径也写在脚本里你可以在自己模型上实测后替换。核心结论差在哪把两件事的成本结构摆一起看核心差距在读数据的方式——接口一次查询就拿到截图派得先看一眼维度让 AI 点界面computer use让 AI 调接口结构化通道每步成本截图(图像token) 思考(输出token)一次请求文本为主完成任务所需步数几十轮循环几次调用读数据的方式也要看图读操作一次查询就拿到成本量级高一个量级低一个量级画成条形图更直观数据来自上面脚本的真实输出同一任务成本对比GPT-6.1 SolNode 25.8.2 实测 结构化接口 ▏ 0.045 $ computer use █████████ 0.432 $ ← 约 9.6 倍注意这个对比的前提是同一个任务、两条路都走得通。这个前提很重要后面讲决策的时候会回到这里。那到底什么时候该用 computer use不是所有任务都适合走结构化通道也不是所有任务都该让 AI 点界面。我按有没有接口把场景分成三类场景例子建议有接口你自家的系统API 现成走结构化通道别让 AI 点界面没接口但值得补高频老系统补个只读接口成本可控先补接口再接入一次性开发换持续低成本没接口也不值得补低频老系统、一次性任务、第三方软件computer use 反而合理别为造接口而造接口判断可以套三句话这个任务 Agent 会不会反复跑这个数据能不能只读拿到这个界面值不值得为它开接口三句话都是否computer use 就是正解有任何一句是先往结构化通道上靠。computer use 的边界把话再说回来computer use 有几个现实约束得认清token 消耗是硬成本截图派每轮循环都要付费长任务之前先估预算像素操作脆弱界面布局动一下、弹窗冒出来坐标就可能点偏第二弹操作层那篇讲过这个方向需要反馈信号点完没反应Agent 只能靠猜重试循环越拖越长能力在变强但评估口径别混官方最新是 OSWorld 2.0 的 offline 子集GPT-6.1 Sol 比上一代 Sol 高 7 个百分点、离 Astra 差 2.1 个百分点、成本大概只有 Astra 的七分之一——注意这是另一套评估题跟早前那篇说的OSWorld 完成率七成上下不是同一个东西两个数字不能直接比可用范围官方公告的表述是 computer use通过 API 以及 Codex、ChatGPT Work 提供Codex 和 ChatGPT Work 需要 Pro 500 / Enterprise 套餐——API 侧有没有额外门槛公告没细说动手前以官方文档为准computer use 文档别只看一句支持了就觉得所有套餐都有检查清单检查项该怎么做优先级先问有没有接口有接口的任务默认不走界面★★★★★高频任务补只读接口老系统高频读操作补一个比让 AI 点一辈子界面便宜★★★★低频任务才放行 computer use一次性、低频、第三方别硬造接口★★★★给 computer use 估预算步数 × 单步 token × 单价先算再跑★★★★界面反馈信号做齐点完要有可见状态变化别让 Agent 靠猜★★★高危写操作上护栏确认弹窗、审批、可回滚★★★顺手说一句写这篇文章的时候我还没在真环境里把 OpenAI 的 computer use 完整跑通一轮需要 API 环境上面所有推算都基于官方公告、官方定价和社区公开实验。这个算账的方法你自己就能复现——脚本参数按你的任务改一改跑出来就是你的账单。至于把同一任务按 computer use 的循环机制拆开算账单会因为等待和重试膨胀成什么样这件事我下一篇写结果比预想的有意思。另外提醒一句本文写于 09.29 DevDay 公告之后computer use 的能力、价格和文档都在快速迭代动手之前以官方文档最新版本为准。「Agent 工程实战」系列路线界面线computer use / Agent UI上一篇10 A 公司数据记到 B 公司下一篇12 点界面贵 30 倍系列索引21 篇阅读路线Agent 放权前先补权限、出站、发现这三道口子专栏Agent 工程实战如果这篇对你有用欢迎收藏想追更可以关注「Agent 工程实战」专栏。

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑