1. 当用户改变主意长流程网页导航中可中断智能体的挑战想象一下这个场景你正在网上预订一次复杂的旅行机票、酒店、租车一步步操作。当你刚选好航班准备进入酒店页面时突然想起一个重要会议需要调整出行日期。这时你希望浏览器里的“智能助手”能立刻停下订票流程转而帮你搜索新的日期选项。这个“说停就停说改就改”的能力对于任何试图在真实、动态的网页环境中工作的智能体Agent来说都是一个巨大的挑战。这正是“When Users Change Their Mind: Evaluating Interruptible Agents in Long-Horizon Web Navigation”这个研究标题所直面的核心问题。它探讨的不是智能体能否完成任务而是当任务本身在过程中被用户动态修改时智能体能否优雅地“中断”并“转向”。在人工智能特别是大语言模型驱动的智能体领域我们常常关注其完成任务的能力——比如写一封邮件、总结一篇文章。但现实世界的交互是混乱且充满变数的。用户会犹豫、会获得新信息、会改变优先级。一个只能“一条道走到黑”的智能体在复杂的网页导航这种“长视野”任务中实用性将大打折扣。这里的“长视野”指的是那些需要多个步骤、跨越多个页面才能完成的目标例如“找到某款产品最便宜的零售商并加入购物车”或“在政府网站上完成一项多页表格的填写”。这类任务本身就容易出错再加上用户中途的指令变更对智能体的鲁棒性和适应性提出了极高要求。最近随着像AutoGPT、BabyAGI以及各类基于LLM的浏览器自动化工具如WebGPT、WebVoyager的兴起让LLM智能体替代人类执行网页操作成为了热门方向。然而大多数评测都聚焦于智能体在“理想、静态”指令下的成功率。用户中途打断并给出新指令的场景却像一个未被充分测试的“盲区”。这个研究领域试图填补的正是这个盲区。它关乎智能体是否真正具备与人类协作的“情商”——理解意图的流动性并据此灵活调整自己的行动计划。这不仅是一个技术问题更是一个交互设计和人机协作的根本性问题。2. 理解“可中断性”从机械执行到协作对话的范式转变要评价一个智能体是否“可中断”我们首先得拆解这个词背后的多层含义。它绝不仅仅是让程序“停下来”那么简单。在长流程网页导航的语境下“可中断性”是一个包含感知、理解、决策和行动恢复的完整闭环。2.1 中断的四种类型与智能体的应对策略根据中断发生的时间和性质我们可以将其大致分为四类每种都对智能体提出了不同的要求纠正性中断用户发现智能体正在执行或即将执行的操作是错误的。例如智能体正要点“删除”按钮用户大喊“停那是重要文件”。这时智能体需要立即中止当前原子操作如点击理解错误所在并等待或询问修正指令。这要求智能体对自身动作有实时监控和紧急制动能力。优化性中断用户的目标未变但提供了更优的路径或信息。比如智能体正在一页页翻找产品信息用户插话“直接搜索框输入‘型号A123规格书’”。智能体需要能融合这条新信息调整其后续的导航策略可能放弃当前的浏览策略转而执行搜索。这考验的是智能体对任务规划的动态重构能力。目标变更性中断这是最彻底的中断。用户完全改变了初衷。例如智能体原本在预订巴黎的酒店用户说“算了改去东京吧”。智能体不仅需要停止所有与巴黎相关的操作还需要清空或大幅修改其内部的任务上下文和计划并基于“东京酒店”这个新目标重新开始。这涉及到工作记忆的刷新和目标栈的管理。查询性中断用户暂时打断流程询问一个相关问题但希望之后继续原任务。例如“对了我选的这个航班行李额是多少”智能体需要暂停主线任务处理这个子查询给出答案后还能准确地回到之前的中断点继续执行。这需要智能体具备多线程上下文管理能力。一个真正“可中断”的智能体必须能识别这些不同类型的中断信号通常通过自然语言指令并采取相应的策略。这背后依赖的是LLM对指令意图的精准理解、对当前任务状态的清晰认知以及一个灵活的任务执行框架。2.2 长视野网页导航的独特复杂性为什么网页导航中的中断特别难处理因为网页环境本身就是一个高维、动态且部分可观察的状态空间。状态表征的困难智能体“看到”的通常是一个网页的DOM树或屏幕截图。从中理解当前页面“是什么”登录页、搜索结果页、商品详情页、“有什么”可交互元素如按钮、输入框以及“处在任务流程的哪一步”本身就是一个挑战。中断发生时智能体必须基于这个不完美的状态表征理解中断指令与当前状态的关联。操作的序列性与依赖性网页操作往往有前后依赖。没登录就不能下单没选商品就不能结账。一个中断如果发生在链条中间智能体需要判断新指令是否满足前置条件或者是否需要先回退几步。例如用户从“结账”中断为“修改配送地址”智能体需要知道应该跳转到“地址管理”页面而不是在支付页面原地打转。非确定性与延迟网页加载有延迟操作结果可能非预期弹窗、错误提示。智能体在执行动作后需要等待并确认新状态。中断可能发生在这个“等待确认”的脆弱期智能体需要区分是网络延迟、操作失败还是用户的中断指令。注意许多简单的智能体框架将任务视为一个线性的动作序列。一旦加入中断这个模型就崩溃了。必须引入更高级的架构如基于“信念-愿望-意图”的BDI模型或将任务表示为可被修改和重排的图结构。3. 构建评测基准InterruptBench的设计哲学与核心任务要推动“可中断智能体”的发展一个公正、全面、可复现的评测基准至关重要。我们可以设想一个名为“InterruptBench”的基准测试其设计需要紧扣现实场景并系统性地衡量智能体的中断处理能力。3.1 基准设计的四大原则真实性任务应来源于真实的用户场景如在线购物、旅行规划、信息检索、表单填写等。中断指令也应是自然语言模仿真实用户的表达方式包含模糊指代“这个”、“那个”和上下文依赖。层次性任务难度应有梯度。从简单的“点击中断”到复杂的“多轮嵌套中断”。例如初级在搜索页面用户中断并修改搜索关键词。中级在商品对比流程中用户中断要求先查看某个特定属性的用户评价。高级在完成多页表单填写到一半时用户彻底变更申请类型要求智能体重新开始并复用部分已填信息。可度量性需要定义清晰的评估指标不能只看最终任务是否完成。关键指标包括中断成功率智能体是否正确识别并响应了中断指令任务完成率在中断处理后原始任务或新任务是否最终被完成效率损耗相比无中断的基线流程处理中断后完成任务所花费的步骤或时间增加了多少上下文一致性在处理中断后智能体是否保持了必要的上下文例如中断前已输入的信息是否出现了矛盾或遗忘用户满意度通过人工或模型评估智能体中断处理的行为是否自然、合理、高效。安全性基准测试应在安全的沙盒环境如完全可控的模拟网站或镜像网站中进行避免对真实网站造成干扰也便于自动化测试和状态重置。3.2 核心任务场景示例假设我们构建一个“在线书店任务套件”。一个长视野任务可能是“找到作者‘刘慈欣’的最新科幻小说将其加入购物车然后开始结账流程。”在这个任务流程中我们可以设计多个中断点中断点A导航阶段当智能体正在浏览作者页面时用户中断“等等先帮我看看他有没有获得过雨果奖的作品。”评估点智能体是否能暂停浏览转而执行信息查询可能需要导航到奖项列表或作品详情页并在查询后是否记得返回原任务或询问“是否继续找最新小说”中断点B决策阶段当智能体已找到最新小说《黄金原野》并即将点击“加入购物车”时用户中断“这本太贵了找找他有没有更便宜的短篇小说集。”评估点智能体是否能取消当前操作理解“更便宜”和“短篇小说集”这两个新约束并重新发起搜索或筛选。这考验其属性理解和条件过滤能力。中断点C操作阶段在购物车页面用户中断“把刚才那本书删了换成《三体》三部曲套装。”评估点智能体是否能执行删除操作并理解“换成”意味着需要添加新商品。这需要操作序列的替换能力。通过在这些预设节点注入不同类型的中断指令我们可以系统性地测试智能体的表现。基准测试会提供初始指令、网页环境DOM或像素、以及在不同步骤触发的自然语言中断指令。智能体需要输出一系列动作如click(id“add-to-cart”),type(text“三体”, id“search-box”)并由一个裁判系统自动判断其动作序列是否正确、高效地响应了中断和最终完成了任务。4. 实现可中断智能体的关键技术架构要让一个基于LLM的网页导航智能体具备强大的中断处理能力我们不能只依赖一个“更聪明”的LLM。它需要一个精心设计的系统架构将感知、规划、记忆和动作执行模块有机结合起来。下面是一个可行的架构设计思路。4.1 分层状态管理与工作记忆智能体需要一个清晰的状态表征系统来回答“我现在在哪儿我正在干什么我已经知道了什么”这三个核心问题。当前页面状态通过视觉模型或HTML解析持续生成对当前页面的结构化描述。这不仅包括UI元素还包括页面语义这是登录页、搜索列表页还是详情页。当中断发生时这个状态是理解指令上下文的基础。例如用户说“把这个加进去”智能体需要结合当前页面状态知道“这个”指的是哪个商品。任务执行状态维护一个明确的任务栈或任务树。主任务可以被分解为子任务。当收到中断指令时系统需要判断这是一个全新的顶层任务吗目标变更这是对当前子任务的修改吗纠正/优化这是一个与当前任务并行的临时查询吗查询 根据判断结果决定是压入新任务、替换当前任务还是暂停当前任务。对话与历史记忆保存完整的用户对话历史和已执行的动作历史。LLM可以利用这个长上下文来理解指代和意图的演变。当用户说“还是用回第一个选项吧”智能体需要能从历史记忆中召回“第一个选项”具体是什么。# 一个简化的状态管理数据结构示例概念性 class AgentState: def __init__(self): self.current_page_semantic product_list_page # 当前页面语义 self.current_focus_element {id: item_123, text: 无线耳机} # 当前焦点元素 self.task_stack [ {goal: Buy the latest sci-fi novel by Liu Cixin, status: in_progress}, {goal: Navigate to author page, status: completed} ] # 任务栈 self.dialogue_history [ {role: user, content: Find Liu Cixins latest novel.}, {role: assistant, content: Browsing author page...} ] # 对话历史 self.action_history [ {action: goto, url: bookstore.com/author/LiuCixin}, {action: scroll, direction: down} ] # 动作历史4.2 基于LLM的意图解析与规划器这是系统的“大脑”。它接收来自用户的原始指令包括中断指令和上述的完整状态信息然后输出决策。意图分类与槽位填充首先LLM需要判断新指令的意图类型继续、纠正、优化、变更目标、查询等。同时进行槽位填充提取指令中的关键实体和参数如商品名、价格范围、属性等。这可以看作是一个特定的提示工程或微调任务。动态规划与重规划核心的规划器模块需要能够进行条件逻辑判断。其决策流程可以概括为识别中断新指令是否意味着对当前流程的打断评估影响如果中断新指令与当前任务栈的关系是什么替换栈顶、插入新任务、暂停当前等生成子目标序列为了响应中断以及可能后续恢复需要生成一系列新的原子子目标如“返回搜索页”、“输入新关键词”、“筛选价格”。动作生成将最 imminent迫近的子目标转化为具体的、可在当前页面上执行的动作如click,type,scroll。这个规划器需要频繁调用LLM提示词的设计至关重要。提示词需要包含清晰的系统角色定义、丰富的上下文状态、历史以及结构化的输出要求例如要求以JSON格式输出{intent: ..., new_task_stack: [...], next_action: ...}。4.3 稳健的动作执行与异常处理即使规划得再好执行层也可能失败。一个可中断的智能体必须能处理执行异常并将其作为新的“环境反馈”输入给规划器。动作执行与验证执行一个点击动作后智能体需要等待页面加载并验证结果是否符合预期。例如点击“登录”后应出现登录表单。这可以通过检查页面关键元素是否存在来实现。异常检测与恢复如果动作失败如元素未找到、页面跳转错误执行层应能捕获异常并将其转化为自然语言描述如“未能找到‘提交’按钮”反馈给规划器。规划器则需要根据这个新信息重新规划。这在中断场景下尤为重要因为用户的中断可能让智能体处于一个预料之外的状态。原子性与回滚某些操作序列应具备一定的原子性。例如“加入购物车”可能包含点击按钮、确认弹窗两个步骤。如果在这之间被中断智能体需要能妥善处理中间状态必要时执行回滚操作如关闭弹窗。实操心得在实现中为每个动作设置明确的“成功状态验证条件”和超时时间非常关键。不要假设动作总会成功。当智能体“卡住”时一个简单的回退策略如刷新页面、返回上一步往往比复杂的推理更有效。将这类“低级”恢复机制与“高级”的LLM重规划结合起来能大幅提升系统的鲁棒性。5. 评测实践从模拟环境到真实挑战有了InterruptBench基准和智能体架构下一步就是进行实际的评测。这个过程本身也充满了工程和洞察上的挑战。5.1 构建可控的网页导航测试环境完全在真实网站上测试是不现实且不道德的。因此我们需要模拟环境。方案一完全模拟网站使用React、Vue等前端框架构建一套专门用于测试的虚拟网站如模拟书店、模拟机票预订。优点是完全可控状态可编程易于自动化评测。缺点是开发成本高且可能与真实网站的复杂度和“野性”有差距。方案二网站镜像与沙盒化对真实网站进行镜像并在一个隔离的沙盒环境中运行如使用无头浏览器代理拦截。这样能保留真实网站的复杂交互逻辑。难点在于需要处理登录、支付等敏感操作以及确保测试的幂等性每次测试后能重置状态。方案三基于现有仿真平台扩展利用已有的网页交互仿真环境如Mind2Web、WebArena并在其基础上增加中断指令注入的接口。这是目前最可行的研究路径。这些平台已经提供了丰富的网站和任务扩展其以支持动态指令输入相对容易。在评测中我们需要自动化地驱动智能体在预设的中断点注入指令并记录其每一步的动作和页面状态。最终通过一套规则或一个评判LLM来评估其动作序列是否合理、高效地完成了任务。5.2 核心评测指标深度解读仅仅看“任务最终成功与否”是远远不够的。我们需要一套多维度的指标来衡量智能体的“中断素养”。指标类别具体指标说明与计算方式反映的能力基础能力中断识别准确率正确响应中断的次数 / 总中断次数对中断信号的感知和理解能力最终任务完成率完成最终有效任务的次数 / 总测试次数在干扰下的整体任务达成能力效率与成本平均额外步骤数处理中断的任务平均步骤数 - 无中断基准任务平均步骤数中断带来的效率损耗平均决策时间智能体每次调用LLM进行规划的平均耗时系统的响应速度与计算成本行为质量上下文一致性得分通过规则或评判模型评估智能体在中断前后行为是否逻辑自洽、有无遗忘关键信息工作记忆与状态管理能力动作冗余度无效或重复动作数 / 总动作数规划的精准度和执行效率恢复优雅度评判模型评估智能体从中断点恢复到主线任务或开启新任务的过程是否自然、顺畅交互的流畅性和用户体验其中“上下文一致性”和“恢复优雅度”这类定性指标可能需要借助另一个高级LLM作为裁判来进行评估。例如给裁判LLM提供完整的交互历史让其评分或指出矛盾之处。5.3 典型失败案例分析与归因在测试中我们会观察到智能体各种各样的失败模式分析这些模式是改进系统的关键。灾难性遗忘智能体在处理完一个中断查询如“雨果奖作品有哪些”后完全忘记了原本要买“最新小说”的主任务开始漫无目的地浏览。这通常是因为任务栈管理失效或者LLM的上下文窗口被过度覆盖丢失了早期目标。僵化执行用户中断说“不要这个了”智能体虽然停止了当前点击但接下来仍然机械地执行原计划中的下一步如去结算页面而不是等待或询问新指令。这说明其规划是静态、预编译的缺乏动态重规划的能力。上下文混淆用户在主任务流程中说“把它删了”智能体错误地删除了之前某个页面上的元素而不是当前聚焦的商品。这是因为对“它”的指代解析失败状态管理中没有清晰记录当前的焦点和对话所指。无限循环与卡死中断导致智能体进入一个状态使其反复执行同一组无效动作如不断在两个标签页间切换。这是异常处理机制不健全的典型表现系统缺乏从死循环中检测和逃脱的“安全阀”。这些失败案例告诉我们一个强大的可中断智能体不仅需要聪明的“大脑”LLM更需要一个设计良好的“神经系统”状态、记忆、控制流和“反射弧”异常处理。6. 前沿探索与未来方向“可中断智能体”的研究正处于起步阶段但已经与多个AI前沿方向紧密相连。与强化学习的结合当前方法主要依赖于LLM的零样本或少样本规划能力。但我们可以将中断处理视为一个序列决策问题用强化学习来训练智能体。奖励函数可以设计为高效完成任务得正分无效动作得负分成功处理中断获得额外奖励。这样可以让智能体学会主动预测中断可能发生的时机如在关键决策点前稍作等待或发展出更优的中断恢复策略。多模态理解的融入目前的导航大多基于HTML DOM或辅助的无障碍树。但真实的网页交互是视觉化的。融入视觉语言模型让智能体直接“看”网页截图能更好地理解页面布局和元素语义这对于理解像“点击左上角那个红色的按钮”这类依赖空间指代的中断指令至关重要。人机协作的混合倡议未来的智能体可能不是完全自主的而是采用混合倡议模式。它可以在不确定时主动询问“您是指删除购物车里的第一件商品吗”也可以根据历史交互学习用户的偏好和中断模式从而变得更 proactive主动。例如如果用户经常在价格超过某个阈值时中断智能体未来可能会在遇到高价商品时主动暂停并提示用户。从网页导航到通用人机交互网页导航只是一个试验场。其核心问题——如何在动态、不确定的环境中处理流动的、多层次的用户意图——同样适用于机器人操作、桌面软件自动化、甚至现实世界的物理任务。在这里积累的技术和洞察将为构建真正通用、协作式的人工智能助手奠定基础。在我自己尝试构建一些自动化脚本和智能体的过程中最深的一点体会是可靠性往往比智能更重要。一个能100%正确处理“停止”和“回到上一步”的简单智能体比一个在90%的情况下很聪明但10%的情况下会失控删除文件的复杂智能体要有用得多。对于可中断性而言这意味着我们需要在系统层面建立坚固的“护栏”和“紧急制动”机制例如为所有修改性操作删除、提交、支付设置额外的确认步骤并且这些步骤必须能够被中断指令最高优先级地覆盖。同时保持操作历史的完整日志和可回滚性是构建用户信任的基石。当我们赋予智能体更多自主权时也必须赋予用户更直接、更强大的控制权这其中的平衡将是未来很长一段时间内设计和工程上的核心课题。