2026 年 10 月 8 日 · 约 9 分钟 · 工程与基础设施原作者Tony Chang · InstaCloud CTO、联合创始人2013 年Google 给部分员工配了能在高速公路上自动驾驶的汽车。规则很简单车负责开你随时准备接管。他们没有做好这个准备。几年后执掌 Waymo 的 John Krafcik 向路透社描述了团队在车内摄像头里看到的场景人们在打盹、化妆、玩手机而车速最高达到每小时 56 英里。“我们发现的情况相当可怕”他说“他们已经失去了对周围情况的感知很难再接管车辆。”我经常想起这个故事因为 Agent 现在就处在同样的位置。Agent 能完成工作我们让人盯着它然后人就不再盯了。Anthropic 在 8 月把 auto mode 设为 Claude Code 的默认模式时公布了相关数据。用户会批准 97% 的权限提示。在一项有 1,053 名付费测试者参与的研究中人工审查只拦下了 13.6% 的危险命令自动检查则拦下了 89%。每个团队都会加上一个人工审核环节来保障 Agent 的安全这个环节却成了系统最薄弱的部分。Anthropic 对 1,053 名付费测试者的研究中人工审查拦下 13.6% 的危险命令自动检查拦下 89%。来源Anthropic《Auto mode 现在是 Claude Code 的默认模式》2026 年 8 月。自动驾驶行业在这个问题上领先了十年我们即将进行的实验它们已经做过了。我认为 Agent 工作会走上同一条路所以有必要了解这条路是怎么走过来的。我自己也在其中。InsForge 的每位工程师都在自己的 VPS 上运行 Claude Code我们有意把它对基础设施的访问设为只读。这就像给车安排一名安全员而这个限制正是我加上的。太长不看汽车和 Agent 可以对应到相同的五个等级。区分等级的关键问题也相同谁负责在出问题时兜底。Agent 卡在了 Level 3人必须随时准备接管。无论是开车还是监督 Agent人都不擅长持续保持这种状态。增加护栏和审批提示就像给一辆仍然需要司机的车增加传感器。它们有帮助但不会改变自动化等级。Waymo 先划定地理围栏在范围内积累真实行驶记录与同一道路上的人类司机比较表现更好后才扩大范围。Agent 也可以走这条路每个任务都有自己的环境副本出错的代价足够低。相同的五个等级相同的问题自动驾驶等级来自 SAE J3016。把 Agent 工作放在旁边看两者几乎能一一对应。我最关心 SAE 表格里“谁来兜底”那一列。Level 3 要求人处于“准备好接管”的状态并在需要兜底时“成为驾驶者”。Level 4 则由系统自行兜底“不预期用户需要介入”。汽车的 Level 4 和 Level 5 只差适用范围这套能力能在限定区域内成立还是能在任何地方成立。Agent 还多一项区别。Level 4 仍然由人审查结果但审查限定在具体领域内Level 5 则由 Agent 在所有领域相互检查成果。此前已经有人划分过 Agent 的等级。Dan Shapiro 的五个等级从“增强版自动补全”一直到无人审查代码的“黑灯工厂”Knight Institute 的一篇论文则按人的角色来定义等级。这两种划分都很好都以人为中心。汽车行业的经验则把我们的目光转向了道路。人在 Level 3 会睡着研究自动化的人对这些现象并不意外。Lisanne Bainbridge 在 1983 年写下了讨论工厂和驾驶舱的论文 《自动化的悖论》。其中一句话至今仍然适用“即使一个人有很强的动机也不可能对一个几乎没有变化的信息源持续保持有效的视觉注意力超过大约半小时。”Google 看过车内录像后放弃了让人接管的方案直接转向完全自动驾驶。Ford 在 2017 年作出了同样的决定。即使装上蜂鸣器和振动座椅它的工程师仍然会在测试车里睡着。即使司机保持清醒接管也需要时间。《Transportation Research Part F》发表的一项 2014 年模拟器研究发现自动驾驶交回控制权后司机大约需要 15 秒才能恢复控制转向操作要过最多 40 秒才会稳定下来。在高速公路上15 秒已经能开出很远。Agent 的数据呈现出同样的衰减连时间尺度都很接近。Anthropic 的研究中会话刚开始时人们能拦下约 17% 的危险命令经历 50 次或更多提示后这个数字降到了约 5%。Bainbridge 所说的半小时在 Coding Agent 上也被测到了。会话刚开始约 17%的危险命令被人工拦下。经历 50 次或更多提示后约 5%约为开始时的三分之一。人批准得越久拦下的问题越少。来源Anthropic《Auto mode 现在是 Claude Code 的默认模式》2026 年 8 月。所以有人说 Agent 还不够安全必须有人监督时接下来该问的是跟什么相比那个在审核环节里的人正在不断点击同意。多加传感器不会改变等级行业的本能是增加传感器。增加审批提示和护栏改进分类器再加几个仪表盘供人监看。这些措施中有些确实有用。auto mode 就比疲倦的人更善于识别危险上面的数字已经说明了这一点。但思路仍然停留在 Level 3。Agent 与生产环境行驶在同一条路上我们不断提高拦截能力希望在它撞上东西前把它停下来。出错时会是什么样今年 4 月汽车软件创业公司 PocketOS 的一个 Coding Agent 正在预发布环境里处理一项常规任务。它遇到了凭据问题开始寻找解决办法随后在一个无关文件里发现了 API token权限远远超出了原本的预期。一次调用就删除了生产数据库而备份也放在同一个地方一起被删掉了。整个过程只用了九秒。最后托管公司的 CEO 亲自介入才帮忙找回数据。审查再仔细也救不了这种情况。Agent 的确在预发布环境里但它与生产环境之间只隔着一个 token。Waymo 接下来做了什么划出一片区域SAE 给自动驾驶系统适用的限定范围起了一个名字运行设计域operational design domain。其中包括“环境、地理和时段限制”。说得简单一点就是地理围栏。Waymo 的发展过程是把这个想法一步步落实。2018 年加州为它发放了覆盖五个指定城镇的无人驾驶测试许可Mountain View、Sunnyvale、Los Altos、Los Altos Hills 和 Palo Alto。2020 年它在凤凰城郊区的一部分区域向公众开放了完全无人驾驶的乘车服务。2023 年旧金山的付费无人驾驶服务上线。截至今年 9 月服务已进入美国的 14 座城市每座城市都有自己的地理围栏。灰色代表由人负责兜底的接管阶段绿色代表在地理围栏内无需司机并随着证据积累扩大范围。来源链接见正文。Waymo 先把适用范围缩小到无需司机也能运行再一座城市、一座城市地扩大。它并没有一直等待一辆能在任何地方行驶的车。信任来自行驶记录划定地理围栏只完成了一半。另一半是 Waymo 如何积累扩大范围的依据。2016 年RAND 试图算出要开多少里程才能证明自动驾驶比人更安全。在 《Driving to Safety》中它给出的答案是要证明死亡事故率比人类低 20%需要行驶超过 110 亿英里。如果有 100 辆车全天不停地开大约需要 500 年。这个测试根本无法完成所以 RAND 得出结论企业“不能仅仅靠不断行驶来实现安全”。真正起作用的是在限定范围内持续积累证据再与人类的表现比较。截至今年 6 月Waymo 已累计行驶 2.713 亿英里的无人驾驶里程与同一道路上的人类司机相比导致严重伤害的碰撞减少了 95%。Swiss Re 的一项研究覆盖了其中的 2,530 万英里发现实际发生了 9 起财产损失索赔而人类司机在同样条件下预计会产生约 78 起。真实里程背后还有数百亿英里的模拟行驶以及一座建在旧空军基地上的 113 英亩封闭测试场。在 2,530 万英里完全无人驾驶里程中发生的责任保险索赔与人类司机行驶同等里程的预期索赔对比。来源Waymo 与 Swiss Re2024 年 12 月。这些数字也经过了同行评审。Waymo 的安全研究人员在《Traffic Injury Prevention》上发表了研究方法。在最初 5,670 万英里的无人驾驶里程中他们测量的每一种伤害等级其碰撞率都显著低于人类基准没有任何一种碰撞类型的表现显著差于人类。预印本可以免费阅读。评价 Agent 时我们却反过来了。我们用基准测试评分这相当于驾照考试的笔试部分而且这些测试会饱和也会发生数据泄漏。今年 2 月OpenAI 发现前沿模型能凭记忆复现参考答案后停止报告 SWE-bench Verified 的成绩。通过测试也没有像我们希望的那样转化成实际工作的提升。METR 在 2025 年的一项随机对照试验中让 16 名有经验的开发者完成 246 项真实任务。用了 AI 后他们实际上慢了 19%却以为自己快了 20%。Agent 的“行驶日志”才刚刚开始出现。Anthropic 的自主性研究统计了用户中断 Claude Code 的频率新用户约在 5% 的轮次中介入有经验的用户约为 9%。研究还指出“我们的许多发现仅靠部署前的测试无法观察到”。这就像一份自动驾驶接管报告。我们需要更多这样的记录记录真实工作再与同一项工作中由人逐步批准的方式比较。Agent 已经在两个场景里有了边界看看人们已经愿意放手让 Agent 独立运行的地方。第一个是深度研究。启动研究 Agent离开二十分钟再回来读报告没人会批准每一次搜索。它用的通常还是与 Coding Agent 相同的模型所以差别不在智能水平。浏览网页是只读操作整个互联网都可以纳入这道围栏。第二个是 Git 分支中的代码。没人会在 Agent 自己的分支里逐个批准它的键盘操作你审查的是 Pull Request。有人决定合并之前所有改动都留在分支内。Anthropic 发现今天大多数 Agent 操作“风险低且可逆”。我们恰好给这些场景划出了边界。接下来Agent 需要执行数据库迁移、写入存储桶或者部署服务就会直接退回 Level 2。数据库、存储和运行中的服务无法像代码一样分支因此每次写入都可能触及真实环境必须有人批准也就没有人在这些地方积累独立运行的记录。模型能力已经不再是这里的阻碍。METR 对 Agent 可完成任务时长的测量显示这个时长大约每七个月翻一倍2024 年以来还在加速。METR 的 2025 年论文介绍了测量方法用熟练的人完成同一任务所需的时间衡量任务长度。Anthropic 把模型能处理的工作与人们实际允许它处理的工作之间的差距称为“部署积压”deployment overhang。车已经会开了还缺一条能让它开上去的路。给 Agent 一次重新开始的机会基础设施的边界可以这样划。每个 Agent 任务都有整套环境的独立副本包含真实数据的数据库、自己的存储以及运行在独立 URL 上的应用。生产环境的凭据不会出现在这个副本里。Agent 删除一张表删的是自己的表发布了有问题的版本坏的是自己的 URL。几秒钟就能丢掉这份环境重新开始。这就是一次重新开始的机会。Agent 可以出错后重来人就不用一直盯着它。出错的代价足够低我们终于可以允许错误发生并统计它们。每项任务都会变成一段基于真实数据、可记录的“行驶里程”。人从批准五十个步骤转为审查一个结果。InstaCloud 正在构建的就是这套能力。insta branch create 会为任务创建一个写时复制的 Postgres打开时就带有父分支的数据同时提供一个分叉的存储桶以及已经运行着父分支应用的计算环境。Agent 在其中拥有完整写入权限insta agent events记录它做过的事情。工作结果符合要求就像审查 Pull Request 一样将它提升不符合要求就删除分支。每项任务都有整套环境的独立副本。错误留在虚线范围内人只需审查一个结果无需逐步批准。然后像 Waymo 一样按任务类型逐步扩大范围用实际运行记录支持每一步。这也是我们让自己的 Agent 从只读走向可写的办法。接下来会走到哪里Agent 的 Level 5 是完全没有边界的生产环境。Agent 之间交接工作、相互检查结果全程无需人介入。我不认为我们在所有领域都接近这个阶段了而且大部分价值在 Level 4 就已经能实现。Waymo 没有达到 Level 5也已经载过很多乘客。Level 3 是一个阶段汽车也是这样走过来的。最终做到无人驾驶的公司没有把希望寄托在让人更专注上。它们先建立一个更小的适用范围在其中证明车辆能够安全运行再逐渐扩大范围。Agent 正坐在 2013 年的那辆车里。我们已经知道汽车接下来的十年发生了什么所以 Agent 不必再花十年走一遍。如果你有不同的看法我很愿意听听。可以在 X 或 LinkedIn 找到我。参考资料想进一步了解可以阅读本文所依据的研究。Bainbridge, L.1983。《自动化的悖论》Ironies of automation。Automatica19(6)775–779。Merat, N., Jamson, A. H., Lai, F. C. H., Daly, M., Carsten, O. M. J.2014。《转回人工驾驶驾驶者从高度自动化车辆恢复控制时的行为》Transition to manual: Driver behaviour when resuming control from a highly automated vehicle。Transportation Research Part F27274–282。Kalra, N., Paddock, S. M.2016。《驶向安全需要多少里程才能证明自动驾驶汽车的可靠性》Driving to Safety: How Many Miles of Driving Would It Take to Demonstrate Autonomous Vehicle Reliability?。RAND Corporation。SAE International2021。《J3016道路机动车驾驶自动化系统的分类与术语定义》J3016: Taxonomy and Definitions for Terms Related to Driving Automation Systems。Kusano, K. D., Scanlon, J. M., Chen, Y.-H., et al.2025。《按碰撞类型比较 Waymo 纯乘客无人驾驶与人类基准基于 5,670 万英里数据》Comparison of Waymo Rider-Only crash rates by crash type to human benchmarks at 56.7 million miles。Traffic Injury Prevention26。Di Lillo, L., Gode, T., Zhou, X., et al.2024。《自动驾驶汽车能否超越最新一代的人类驾驶车辆基于 2,500 万英里数据的 Waymo 汽车责任保险索赔比较》Do Autonomous Vehicles Outperform Latest-Generation Human-Driven Vehicles? A Comparison to Waymos Auto Liability Insurance Claims at 25 Million Miles。Waymo 与 Swiss Re。METR2025。《2025 年初 AI 对有经验开源开发者生产力的影响》Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity随机对照试验。Kwa, T., West, B., Becker, J., Deng, A., et al.2025。《衡量 AI 完成长时间软件任务的能力》Measuring AI Ability to Complete Long Software Tasks。METR。Feng, K. J. K., McDonald, D. W., Zhang, A. X.2025。《AI Agent 的自主性等级》Levels of Autonomy for AI Agents。Knight First Amendment Institute。Anthropic2026。《衡量 AI Agent 在实际使用中的自主性》Measuring AI agent autonomy in practice以及 《Auto mode 现在是 Claude Code 的默认模式》Auto mode is now the default in Claude Code。原文链接AI Agents Are Where Self-Driving Cars Were in 2013 — Tony Chang