## 摘要 导航智能体最典型的失败不是第一步走错而是把这一步的错一路带到终点在 R2R-CE 基准上基线方法的轨迹比参考路径多走了约 8.5 米终点还是没到。 SC²-WM 是 ICML 2026 的论文它给轻量导航模型装上一个「内部反馈」——让世界模型先替智能体推演下一步的潜在状态再用推演结果和当前理解的差来修正决策。单目设定下R2R-CE Val Unseen 的成功率从 43.8% 提升到 50.9%轨迹长度从 26.16 米降到 17.65 米Unitree GO2 真机上500 次运行的成功率从 70% 提升到 85%。 **视频讲解**[点击观看 B 站视频](https://www.bilibili.com/video/BV1e2J16TEBi) 章节时间轴 00:41 作者介绍 01:11 研究背景与动机 01:58 相关工作 02:42 方法 04:19 实验设计 05:06 实验结果 06:20 消融与深入分析 07:31 效率与系统权衡 08:16 局限与讨论 08:57 要点总结 09:39 参考文献 [TOC] ## 论文基本信息 | 项目 | 内容 | |---|---| | 标题英文 | A Self-Correcting World Model with Closed-Loop Feedback for Vision-and-Language Navigation in Continuous Environments | | 标题中文 | 导航智能体不再「闭眼往前冲」把世界模型的前瞻差当成内部反馈 | | 作者 | Xuan Yao, Yuze Zhu, Junyu Gao, Zongmeng Wang, Changsheng Xu | | 机构 | 中科院自动化所多模态人工智能系统全国重点实验室MAIS· 中国科学院大学人工智能学院 · 鹏城实验室 · HiThink Research | | 会议 | ICML 2026 | | arXiv | https://arxiv.org/abs/2608.07548 | | 项目网站 | https://github.com/sunrise-ikun/SC2_WM | ## 背景与动机 这一节回答两件事视觉语言导航这个任务到底难在哪以及现有方法卡在哪一步。 先说任务。视觉语言导航Vision-and-Language Navigation简称 VLN就是让机器人看着画面、按一句自然语言指令走到目标它的连续环境版VLN-CE把「跳格子」式的离散移动换成连续动作控制底盘可以往前、转向、停下。 难度来自两个地方。一是部分可观测单帧画面看不全环境智能体必须把历史观测拼成内部理解。二是语言指令描述的是抽象目标比如「穿过桌子找到垃圾桶」没有一个现成的参考路径可以对照。 于是就有了本文针对的问题现有方法ETPNav、HNR、VLN-3DFF 这一类轻量架构在推理时基本是开环的——预测一个动作就直接执行不校验后果。早期的小偏差没人纠正后面就会一路放大。 那为什么不做闭环经典闭环控制要拿外部参考算误差而 VLN-CE 的成功只有在整条轨迹走完之后才知道监督既稀疏又延迟。已有尝试要么靠强化学习设计奖励要么靠模型输出的不确定性、熵这类统计量做测试时自适应但这些信号和智能体对环境的内在理解是脱钩的。 作者的思路来自认知科学里的预测处理理论适应性行为依赖持续监测「内部预测」和「随后观测」是否一致。换成导航的说法——如果智能体能把「我打算怎么走」先推演一遍再和当前理解对比这个差值就是它自己能算出来的误差。 相关工作这条线上DreamWalkerICCV 2023用场景合成加蒙特卡洛树搜索做「心理实验」NavMorphICCV 2025用循环状态空间模型刻画内部状态演化但它们推理期的动作并不被反馈引导UNeMoAAAI 2026也用层级预测-反馈但限于离散环境而且没有显式量化误差信号。 ## 研究主线从问题到结论  **图 5SC²-WM 的研究主线Mermaid 流程图。从开环执行的误差累积出发把外部奖励换成内部前瞻差落到两级自校正再用两个基准和真机验证。** ## 基准/方法设计 这一节交代实验用的任务、指标以及 SC²-WM 的整体设定。 评测跑在两个连续环境基准上。R2R-CE 有 5,611 条最短路径轨迹每条平均配 3 条英文指令路径平均长约 9.89 米、指令平均 32 个词。RxR-CE 的场景划分相近但指令是多语种的英语、印地语、泰卢固语平均长度约 120 个词时序复杂度明显更高。 指标方面用得最多的是四个TL轨迹长度走的米数、NE导航误差终点到目标的距离、SR成功率终点落在目标 3 米以内算成功、SPL兼顾成功率与路径效率。另有 OSR、NDTW、SDTW 三个辅助指标。 设定上分成两套。单目设定以 VLN-3DFF 为基线只用前视相机更贴近真实部署全景设定每点采 12 张 30 度间隔的 RGB-D把 SC²-WM 分别挂到 ETPNav 和 HNR 上用来验证方法能不能跨架构复用。 真机部分用 Unitree GO2 四足机器人配 Intel RealSense D435i 相机在约 100 平方米的室内家居环境里跑 100 句指令、每句重复 5 次共 500 次运行终点落在目标 1.5 米以内算成功——深度信息只用来做碰撞规避。  **图 1论文 Fig. 1。三种执行范式的对照(a) 常规开环 VLN 直接执行预测动作(b) 经典闭环控制依赖外部参考\(c) SC²-WM 用前瞻预测产生内部反馈在执行动作之前先修正潜状态。** ## 分类全景  **图 6SC²-WM 的两级自校正结构Mermaid 结构图。两级共用同一个前瞻信号状态级负责立即修状态模型级负责按需改参数。** ## 方法细节 这一节拆开方法本身反馈从哪里来两级校正各自做什么。 第一步是让潜状态变得可信。世界模型维护一个潜状态 $s_t$它由后验转移更新输入是上一步的修正状态、已执行动作、当前视觉与语言特征。为了避免状态变化里混进视角抖动、部分可观测和渲染噪声视觉校准模块VCM维护最近若干步的视觉表征作为片段记忆用当前表征去检索历史再用门控把两者融合起来。 第二步是前瞻。前瞻策略先提一个候选动作 a_t世界模型用先验转移推演下一步状态 s_t1。这一步取确定性均值避免采样噪声进到反馈里。两者相减得到 $s_t$ 与前瞻状态之差 $\Delta_t$这就是内部反馈。 关键在于$\Delta_t$ 不是要最小化的训练目标而是刻画「候选动作会把潜动力学推向哪边」的引导量。校正函数把它注入当前状态得到修正后的潜状态导航策略据此给出真正执行的动作 $a_t$。 第三步是判断该不该改模型。系统用校正前后动作分布的 KL 散度 $\kappa_t$ 度量反馈造成的偏好位移。只有在两种条件下才触发在线适配位移超过近期经验的高百分位并且修正后的动作分布足够自信熵足够低。第二个条件很重要——高熵状态下的巨大位移往往是随机波动不是系统性感知错误。 训练目标由三项组成。动作监督同时约束修正前后的潜状态保证决策基准一致一项 KL 对齐让先验转移与后验分布保持一致重建项让轻量解码器从前瞻状态回归下一步视觉特征注意监督发生在特征空间而不是像素空间避免了昂贵的解码。 触发之后的更新很省只用自监督的重建项 $\mathcal{L}_{\mathrm{rec}}$ 更新世界模型参数学习率固定而且梯度更新与机器人执行动作是异步并行的控制回路不必等待反向传播。  **图 2论文 Fig. 2。框架总览——(i) 反馈引导的计划精修在执行动作前完成状态级修正(ii) 条件式的世界感知自适应在测试时按需完成模型级修正。** ## 实验设计与结果 这一节给出量化结果两个基准上的对比、逐组件的消融以及真机验证。 先看 R2R-CE 的单目设定。SC²-WM 把成功率从基线的 43.8% 抬到 50.9%SPL 从 29.4 抬到 37.2轨迹长度从 26.16 米压到 17.65 米。测试集未见环境上仍保持 3.2 和 3.5 个点的提升。 | 方法R2R-CE Val Unseen | TL ↓ | NE ↓ | SR ↑ | SPL ↑ | |---|---|---|---|---| | VLN-3DFF*单目基线 | 26.16 | 6.05 | 43.8 | 29.4 | | g3D-LF单目 | — | 5.70 | 47.2 | 34.6 | | NavMorph单目 | 22.54 | 5.75 | 47.9 | 33.2 | | HNR全景基线 | 12.76 | 4.57 | 61 | 51 | | SC²-WM单目 | 17.65 | 5.37 | 50.9 | 37.2 | | SC²-WM全景挂 HNR | 12.89 | 4.25 | 66 | 54 | 全景设定下挂到 HNR 上的版本把成功率从 61% 提到 66%、SPL 从 51 提到 54挂到 ETPNav 上时成功率从 55% 到 57%、导航误差从 5.96 米降到 5.57 米。两条骨干线上都涨分说明这套机制补的是执行范式而不是只对某一个网络结构有效。 RxR-CE 上的增益更大单目成功率从 26.7% 提升到 35.8%9.1 个点SPL 从 20.1 到 27.2路径保真度指标 SDTW 从 20.4 到 26.5。指令越长、时序越严格执行期自校正的价值就越明显。 再看消融。消融是在 R2R-CE Val Unseen 上逐级叠加的 | 配置R2R-CE Val Unseen | TL ↓ | SR ↑ | SPL ↑ | 每回合耗时 | |---|---|---|---|---| | 基线 VLN-3DFF* | 26.16 | 43.77 | 29.39 | 17.21 s | | 只加状态级校正 | 21.75 | 48.34 | 33.02 | — | | 再加视觉校准模块 | 18.73 | 49.86 | 36.05 | — | | 再加模型级校正反馈触发 | 17.65 | 50.90 | 37.17 | 18.92 s | | 去掉重建损失 | 18.12 | 48.89 | 34.58 | — | 几个细节值得点出来。视觉校准模块这一级是量级跃变轨迹长度从 21.75 米直接降到 18.73 米。触发方式也有讲究改用固定间隔、并对齐平均更新频率时成功率只有 50.30、轨迹长度 18.43 米说明按反馈信号选择性更新比无脑周期更新更好。记忆长度取 4 最优取 2 时上下文不足、智能体近视取到 8 反而变差因为注意力被摊薄近似均匀的权重淹没了显著特征。  **图 3论文 Fig. 3。R2R-CE unseen 集上的定性对比蓝色为 SC²-WM、绿色为基线 VLN-3DFF、黑色为真值。右侧指令含多个转向与空间参照基线走错后无法恢复。**  **图 4论文 Fig. 4。真机部署——Unitree GO2 在室内环境中完成语言导航靠内部反馈在复杂指令下自我校正。** 论文附录另有一张真机图Fig. 5是同一台机器人在室内家居环境执行指令的画面与上图信息重复此处不再单列。 ## 结果对比总结  **图 7结果对比总结Mermaid 流程图。两个设定、两条骨干线上的成功率与 SPL 增益以及真机上的 15 个点提升。** ## 关键发现 - **误差累积是主要矛盾**只加状态级校正成功率就从 43.77% 升到 48.34%轨迹长度从 26.16 米降到 21.75 米——收益来自「提前预演、剪掉无效步」而不是走得更慢。 - **视觉校准是反馈可信的前提**加上 VCM 后轨迹长度降到 18.73 米、SPL 升到 36.05作者的解释是不对齐视觉表征时潜状态的变化分不清是动作造成的还是感知噪声造成的。 - **选择性更新优于周期性更新**固定间隔更新对齐平均频率的成功率是 50.30%反馈触发版本是 50.90%轨迹长度从 18.43 米降到 17.65 米。 - **重建损失是地基**去掉它之后成功率掉回 48.89%、轨迹长度回到 18.12 米说明它才让潜状态承载了可预测的动力学。 - **指令越难收益越大**RxR-CE 单目成功率提升 9.1 个点26.7%→35.8%高于 R2R-CE 的 7.1 个点SDTW 从 20.4 升到 26.5。 - **算力门槛低**单张 RTX 3090、不到 40 小时训练适配的额外墙钟代价约 1.1 秒每回合17.78 秒到 18.92 秒真机成功率 70%→85%。 ## 局限性 - **反馈质量受世界模型表达能力所限**前瞻差的信息量取决于世界模型本身作者提出可以引入带不确定性或结构化的世界模型但没有给出验证。 - **测试时适配仍依赖机外算力**虽然梯度更新与动作执行异步并行实时性还是靠外部计算资源面向资源受限平台的优化被列为后续工作。 - **范围限于单智能体与中短程任务**长程规划、多智能体场景没有验证语言接地与世界建模更紧的耦合也只是展望。 - **方法描述的细节前后不一致**正文说重建损失对齐下一步视觉特征算法伪代码里用的却是当前校准表征触发条件在正文是百分位、伪代码写成固定阈值。 - **真机证据偏粗**只报了总成功率 85% 对 70%没有按指令复杂度或场景类型分解也没有给出失败案例的分布。 ## 常见问题FAQ ### 我要复现这个工作需要多少算力 论文里训练用的是单张 NVIDIA RTX 3090训练时间不到 40 小时。推理批大小为 1走在线评测协议。对个人研究者来说这是少数不需要集群也能跑起来的具身导航工作。 ### 它和 NavMorph 有什么区别 NavMorph 是同一位一作的前作ICCV 2025用上下文演化记忆让世界模型自演化但推理期的动作仍不被反馈引导。SC²-WM 把世界模型的前瞻差直接算成内部反馈并且用同一个信号决定「只修状态」还是「顺手在线更新模型」。 ### 为什么不用大模型MLLM来做导航 作者主动把范围收在轻量世界模型这一侧理由是 MLLM 路线推理开销大、在线适应性受限。代价也摆在表里单目全量对比中StreamVLN 的成功率 56.9%、DualVLN 到 64.3%都高于 SC²-WM 的 50.9%。作者同时说明 monoVLN 用了更强的三维高斯特征场但未开源没法作为世界模型的基座。 ### 真机效果可信吗 真机跑了 100 句指令、每句 5 次重复共 500 次运行成功率 85% 对基线 70%。需要注意两点环境是约 100 平方米的室内家居场景深度只用于避碰论文没有公布按复杂度分层的成功率所以「增益集中在视觉歧义与路口决策」这个说法是作者的观察不是分层统计。 ### 这套反馈能接到强化学习里吗 论文用的是模仿学习因为 VLN-CE 的部分可观测性和稀疏奖励让纯奖励驱动训练不稳定。作者认为前瞻差可以当内在奖励用给稠密信号或者作为辅助表征加速策略优化——但没有做实验验证。 ## 参考链接 - 论文 arXiv 摘要页https://arxiv.org/abs/2608.07548 - 开源代码作者提供https://github.com/sunrise-ikun/SC2_WM - R2R-CE / RxR-CE 基准https://jacobkrantz.github.io/vlnce/ - 全景基线 ETPNavTPAMI 2024与 HNRCVPR 2024论文参考文献 [3][4] - 同作者前作 NavMorphICCV 2025https://arxiv.org/abs/2506.23468 ## 一句话收尾 如果只带走一句**当外部监督既稀疏又延迟时智能体能实时拿到的误差就是「自己想象出来的未来」和「当前理解」之间的差**。把它算准、用对触发条件闭环就成立了。 延伸看什么先读 NavMorphICCV 2025看世界模型在 VLN-CE 上怎么演化记忆再对比 UNeMoAAAI 2026的层级预测-反馈——这两篇连起来能看清「反馈信号」这个问题是怎么一步步被问清楚的。 --- 给大家推荐一款自用写文献综述、无虚构文献的 AI **复旦大学 FudanNLP 团队自研 [切问学术](https://qiewenpaper.com/zh?utm_sourcebzkolutm_contentbaishi)** 官网[qiewenpaper.com](https://qiewenpaper.com/zh?utm_sourcebzkolutm_contentbaishi) 覆盖 **3.6 亿篇**可溯源真实中英文文献能自动整合文献观点生成规范综述 还能挖掘研究创新点、复现实验配合视频教学新手快速上手文献综述写作 --- **后记** 博客的关键词集中在编程、算法、机器人、人工智能、数学等等持续高质量输出中。 **讨论QQ群**[白拾的小屋](https://qun.qq.com/universal-share/share?ac1authKeySuzrb5NKb9KulvZxFC8EMFvcd6jgVp%2B%2BnTG8h351HWQorXVfvI1n5QwEX5dlJyThbusi_dataeyJncm91cENvZGUiOiI3NTAzNjU3MDAiLCJ0b2tlbiI6IlpFL2xLaGYxdXU4cWJPT2dJTkY3aExnWHNaQ1UrL3NJbWprenhLZitWUHVVNmhIR1M5SkZrS09SWmxKNlRreksiLCJ1aW4iOiIyMjc1OTYwNDg2In0%3DdatahgymRnqgtjQPGoBKhZ8cEyznp0CMLWfCbG4rfiWIADCArVXw50a7c-Q4MWU2Eq3dwOUjG19hamAWQQU4lY-cOQsvctype4tempidh5_group_info) (750365700) **⭐B站账号**[白拾的物理AI组会](https://space.bilibili.com/98639326)活跃于知识区和动画区 **✨GitHub主页**[YhbCode000](https://github.com/yhbcode000)工程文件