机器人不仅要预判未来还要知道哪些变化值得相信——Bridge-WA目录01 看懂场景之后为什么动作还会失败02 整体架构LWDM把真实未来拆成“结果、位置、运动”WorldBridge世界先验不是越强越好面对视觉扰动训练也要保持动作一致03 四类仿真基准、两种真实机器人提升落在哪里04 方法小结05 写在最后视觉语言动作模型VLA已经能够理解“拿起什么、放到哪里”但到了真实操作现场背景、光照或相机视角稍有变化动作仍可能失误。问题不只是模型有没有看懂指令还在于它能否预判动作会给场景带来什么变化并把真正与任务相关的变化用于控制。Bridge-WA 给出一种 world-action 框架不要求机器人在每次决策时生成未来视频而是从当前观测预测未来状态、变化区域和局部运动再通过可靠性门控将这些先验用于动作生成。方法在四类仿真基准与两种真实机器人上验证重点考察外观扰动和视角变化下的泛化能力。01 看懂场景之后为什么动作还会失败对机器人操作而言有用的“未来”不一定是一段逼真的画面而可以是三个更直接的问题最终会变成什么样、哪里会改变、变化会朝哪个方向发生。Bridge-WA 不仅预测这些信息还判断它们在当前动作决策中是否可靠。▲图 | 视觉扰动下的操作挑战与 Bridge-WA 方法总览机器人接到“打开抽屉把碗放进去”的指令首先需要识别抽屉和碗但真正完成任务还要判断抽屉怎样运动、夹爪将与哪里接触以及当前画面里哪些变化只是纹理或相机位置造成的。普通 VLA 大多从当前图像和指令直接预测动作。这个路径高效却容易把训练场景中的背景、颜色、视角当作判断依据。论文中的例子显示任务语义没有改变仅仅更换外观或视角就可能出现碗掉落、机械臂碰撞等失败。世界模型提供了另一种思路先推测场景的未来再决定怎么行动。但完整生成未来图像或视频需要处理大量与控制无关的像素部署大规模生成模型也会增加在线计算成本。Bridge-WA 因此把问题收窄为动作真正需要从未来知道什么02 整体架构LWDM把真实未来拆成“结果、位置、运动”训练时研究者直接使用机器人示范中已经观察到的未来帧构造三类监督信号LWDM 再从当前多视角图像、语言和机器人状态编码出的上下文中预测这些未来先验。论文采用五组可学习查询头分别预测 WAN/DINO 的未来特征、两类变化图和运动光流。运行时无需看到真实未来帧也无需调用训练时的目标编码器或计算光流。框架图中的“World Teacher Target”只承担训练监督冻结的特征提取器和光流把真实未来转成学习目标在线推理时这部分不参与计算。▲图 | Bridge-WA 框架LWDM、WorldBridge 与动作专家WorldBridge世界先验不是越强越好预测出未来信息只完成了第一步。一个先验可能在某个任务里很有用在另一个视角或遮挡条件下却不够准确。如果不加区分地把它送入动作模型错误预测也会被放大。WorldBridge负责连接世界表示与 action transformer。它把未来状态、变化区域、运动信息组织成三路记忆让动作 token 在不同层读取不同先验较早层侧重整体未来状态后续层逐步利用变化位置和局部运动。变化强度与运动幅度还会作为注意力偏置提示模型优先关注可能发生交互的区域。更关键的是可靠性门控。WorldBridge 根据世界先验与当前动作特征的匹配程度调节注意力更新和 FiLM 特征调制的强度先验有帮助时使用它先验与当前决策不相容时减弱它。这并不是给未来预测输出一个经过校准的“正确概率”而是让世界指导能够随输入自适应变化。最终flow-matching 动作专家在这些条件下生成动作片段。消融实验说明门控并非可有可无在 LIBERO-Plus 的对应设置中完整模型得分为82.45去掉所有可靠性门控后降至71.34相差11.11 个百分点。这表明让模型“有未来感”之外还必须控制未来先验如何影响动作。面对视觉扰动训练也要保持动作一致训练阶段Bridge-WA 还对同一条示范构造匹配的干净观测与增强观测两者共享动作标签并使用相同的 flow-matching 噪声和插值时间。增强可以改变外观、语言表述或机器人状态的轻微扰动但不会移动目标物体也不会改变正确动作。训练时模型既要在两种观测下学习动作速度也要让增强分支的动作输出、视觉特征和世界记忆与干净分支保持一致。这样桌布、背景或光照改变时策略仍应围绕同一个任务目标行动而不是跟随外观噪声改变计划。可视化中预测的 Change Maps 更多落在夹爪、被操作物体和目标区域Flow Maps 给出与真实未来运动一致的局部方向诊断实验还显示WorldBridge 在视觉扰动下能降低未来变化区域的预测误差。▲图 | 仿真与真实机器人中的变化区域和运动方向可视化▲图 | 视觉扰动与不同未来时距下的预测分析03 四类仿真基准、两种真实机器人提升落在哪里论文在LIBERO-Plus、LIBERO-Dynamic、RoboTwin 2.0、VLABench四类仿真基准以及Dobot Nova 2、Franka两种真实机器人上评估。设置覆盖静态外观变化、动态相机视角、双臂操作、语言泛化和真实世界的干扰物、光照与桌布变化。▲图 | 四类仿真基准与真实机器人任务设置几组结果尤其值得注意这些数字来自不同基准和对应骨干的比较不能把各项增益简单相加。它们共同说明世界先验不仅能帮助特定模型在 Florence-2、PaliGemma 和 Qwen3.5 等不同视觉语言骨干上也可以作为动作接口发挥作用。真实机器人结果同样支持这一点。在 Dobot 上Bridge-WA 的 Easy 平均成功率为73.6%包含视觉扰动的 Hard 设置为69.1%后者比 X-VLA 的58.0%高11.1 个百分点。▲图 | Dobot、Franka 结果与世界先验分辨率分析值得注意的是VLABench 的平均意图分提升远小于成功率和进度分提升。换言之Bridge-WA 的收益主要体现在把已经理解的任务意图落实为有效动作而不只是更准确地复述或识别指令。04 方法小结Bridge-WA 把世界建模与动作生成连接起来先从示范中实际发生的未来提取监督再让 LWDM 学会仅凭当前上下文预测三类世界先验。部署时当前观测经视觉语言骨干、LWDM 和 WorldBridge最终由动作专家输出动作片段无需在线生成未来图像或视频。方法的另一层改进在于世界先验不被当作永远正确的指令。三类先验负责描述结果、位置和运动WorldBridge 则负责选择性读取并调节其影响。消融结果显示三类信息具有互补作用而可靠性门控是把预测信息稳定转成动作指导的关键。05 写在最后Bridge-WA 提醒我们世界模型对机器人最重要的价值不一定是生成一段像真的未来视频而是提供能帮助动作决策的预测结构哪些物体会改变、改变在哪里发生、局部运动将如何展开以及这些预测此刻能被信任到什么程度。Bridge-WA 在视觉和视角变化下展示了跨骨干、跨仿真与真实平台的收益它也有清晰的边界先验质量依赖示范覆盖图像空间的变化与光流还难以完整表达遮挡后的三维动力学。如何把这种“行动相关的未来”扩展到更复杂的几何关系和跨机器人数据是下一步值得探索的问题。Ref论文题目Bridge-WA: Learning Action-Relevant World Dynamics for Robotic Manipulation论文地址https://arxiv.org/abs/2607.02195项目主页https://hcplab-sysu.github.io/BRIDGE-WA