关键词SR · SPL · NE · OSR · SSR · CR · R2R · VLN-CE一句话定位同济团队对具身视觉语言导航VLN做二维分类动作范式 × 模型范式并在轮式真机、10 个真实场景、200 条任务上实测仿真里还不错的纯 RGB 端到端落到真机上成功率掉得很厉害带全景 SLAM 的分层系统更稳、更安全——但作者也提醒这不只是「架构赢了」还混进了传感与控制栈差异。背景概念VLN 是什么VLNVision-and-Language Navigation视觉语言导航机器人听一句人话如「去厨房停在水槽旁边」只靠自己眼睛看到的画面自我中心视角在没见过、也没有事先给好地图坐标的环境里走过去。直觉类比像第一次去朋友家对方用自然语言指路你不靠 GPS 坐标而是边看边走、边理解「走廊尽头右转」。为什么需要 VLN相对传统 SLAM 导航传统导航SLAM 路径规划很强但通常假设目标是坐标/地图点不是「窗边那把椅子」这种语义说法环境几何、传感器、任务结构比较「干净」。语言目标往往含糊、缺步骤、依赖常识。VLN 用数据驱动把「看 听 决策」绑在一起补的是**语义接地grounding**能力。两个容易混的词术语白话本文关系Hierarchical分层先选「下一个路点」再交给底层控制器走过去像「人定方向 腿负责迈步」Monolithic单体/端到端观测直接出低层动作前进 25 cm、左转 15° 等像「眼睛到脚一条神经网络」Discriminative判别在固定候选动作集合里选/打分分类头选择题Generative生成用自回归/扩散等生成动作、轨迹或推理文本填空/写作文不等于「用了 LLM」论文强调按决策形式分不按是否用大模型分POMDP一句话VLN 被形式化为部分可观测马尔可夫决策过程你看不到完整世界状态只能根据当前观测 指令选动作成功通常看最终位置是否落在目标附近常见阈值约 3 m。论文在干什么系统综述从 2018 R2R 起梳理数据集、仿真器、指标以及近年 LLM/LVLM 浪潮下的方法。正交二维分类核心贡献之一动作范式Hierarchical路点 vs Monolithic直接动作模型范式Discriminative vs Generative→ 四个象限作者指出早期以「分层 判别」为主近年转向「生成式基础模型 真机部署」。真机系统评估另一核心贡献轮式平台 云端推理对比代表配置CLASH分层vsJanusVLN单体 RGB。挑战与方向碰撞与几何、语义停车、sim-to-real、动态环境以及终身记忆、反事实/因果、可信安全、下一代数据引擎。作者机构同济大学电子与信息工程学院通讯作者 Chengju Liu、Qijun Chen。关键方法 / 创新怎么读这篇综述的「地图」1. 问题设定Sec. II离散图环境经典 R2R环境是导航图选邻居节点 ≈「瞬移到下一个视点」。连续欧氏环境VLN-CE 等可自由移动动作要么是低层原子命令要么是相对路点(r,ψ)(r,\psi)(r,ψ)再由局部控制器执行。优化目标最大化停在目标阈值内的期望成功。2. 任务生态数据集 / 仿真 / 指标代表数据集记主干即可类型例子直觉离散室内R2R、R4R、RxR、REVERIE从「短路径」到「更长/多语言/找物体」连续室内VLN-CE、ALFRED、GOAT-Bench、VLN-PE、LHPR-VLN更接近真机控制与物理差异室外/空中StreetView 系、AerialVLN、CARLA 驾驶对话等尺度与视角完全不同常用指标白话指标意思NE终点离目标多远米SR是否停在阈值内常 3 mSPL成功还要路径别太绕OSR轨迹是否曾经进过成功圈看「停不准」问题nDTW / SDTW轨迹形状像不像参考路径RGS / RGSPL不但到附近还要指对物体REVERIE 类本文真机还加了SSRStrict Success Rate距离成功且语义停对位置CRCollision Rate碰撞率。3. 分层框架Sec. III结构高层规划理解指令、选路点 低层控制走过去、避障。判别范式主线约 54% 历史方法落在「分层判别」早期CNN-RNN Seq2SeqR2R 初版 ~20% SR→ 全景注意力~35%→ EnvDrop / Speaker-Follower 数据增强。Transformer 时代PREVALENT、VLN⟳BERT、HAMT、DUET拓扑图记忆影响极大。连续环境桥接Waypoint 预测 → ETPNav在线拓扑 跨模态规划R2R-CE val-unseen ~57% SR。记忆拓扑图DUET 系vs 度量/BEV 图BEVBert、GridMM、g3d-LF、Dynam3D 等。数据飞轮ScaleVLN、SRDF 等把仿真 SR 推到接近人类文中提及 Test-Unseen ~85%。生成范式主线Zero-shot / 协同VLMaps、InstructNav、NavGPT、MapGPT、OpenNav、CLASHRSMP RLMR UCM 大小模型协同等。Fine-tuneNavGPT-2、NaviLLM、NavCoT、InternVLA-N1、AgentVLN 等——领域微调后跃升明显文中例NavGPT-2 从34%→72% SR。分层的优点 / 缺点作者观点优点缺点长程规划更稳、训练相对友好模块误差累积动作空间离散、易调试依赖路点质量与底层控制与图环境、全景设定天然契合常假设全景迁到窄 FOV 真机要改造真机上可接 SLAM/点目标图结构可能限制灵活性4. 单体框架Sec. IV结构观测 指令 → 直接低层动作或动作 chunk / 轨迹。判别范式CMA、LAW、MLANet、MEE、SASRA以及用 MLP 动作头的 NavFoM、Qwen-RobotNav文中按决策形式仍归判别。生成范式代表方法输入直觉要点NaVid单目 RGB 视频无图无深度无里程计靠时空历史Uni-NaVid同上统一多导航任务NaVILA中层语言动作 腿式策略跨本体StreamVLN慢快上下文长视频流效率JanusVLN语义 空间双隐式记忆本文真机单体代表CorrectNav自纠正飞轮纠偏与长指令AstraNav-World / Abot-N0 等世界模型 / flow matching统一 VLA 导航文中 Table III 还对比了这些方法的训练数据量与GPU 小时动辄数百到数千 GPU·h——落地成本不可忽视。单体的优点 / 缺点优点缺点管线简单、少跨模块误差传播纯 RGB 隐式记忆 → 近距障碍感知弱与视频 LVLM、互联网视频数据对齐缺显式全局定位 → 轨迹精度/平滑性弱于地图系接口便宜摄像头 轻量控制黑盒难调试大模型微调贵作者的关键提醒纯 LLM「观测→低层动作」零样本往往很弱有竞争力的系统通常需要大量领域微调。零样本≠已经能真机好用。实验结论Sec. V 真机评估——最值得记住的数字实验设置白话项内容平台差分轮式底盘板载 Jetson Orin NanoMid-360 激光云端 L40 推理分层代表CLASHInsta360 全景路点 SLAM 点目标单体代表JanusVLNRealSense D435i 单目 RGB场景10 个实验室、休息区、图书馆、咖啡厅、住宅室内、室外花园等任务共200episode每方法 10070% R2R 式逐步指令20% 意图模糊10% 回溯假设严格未见场景任务前无先验地图知识主结果测试配置下配置仿真 SR文中引用真机 SR真机 SSR真机 OSR真机 CR单体 RGBJanusVLN~61%22%17%27%51%分层CLASHSLAMCE 很强文中 CLASH test-unseen ~66%51%37%67%7%怎么读这些数字Sim-to-real 鸿沟真实存在单体从 ~61% → 22%。分层更稳更安全本评测配置下但作者明确说差距不能简单归因于「架构 alone」——全景 vs 窄视野、有无 LiDAR/SLAM、控制栈都搅在一起。SR → SSR 再掉一截51%→37%「离得近」≠「语义停对」仿真里很少认真测这个。意图 / 回溯都难分层意图略好35% vs 25%回溯反而单体略好20% vs 0%——两边都常「路过正确区域却不停」。碰撞是真机核心失败模式仿真常「擦边滑走」真机则是硬伤。失败模式定性动作预测错→ 走错方向泛化/域差。碰撞单体 FOV 无显式几何分层则可能因低于雷达扫描平面的障碍如台阶被地图当成可通行。语义停车缺明确 STOP 线索时拖到步数上限。网络延迟云端推理影响闭环边缘轻量化是工程刚需。局限与未来方向Sec. VI当前局限四条避障与几何推理不足数据安全边距弱、障碍记忆不持久、路点未考虑本体运动学。语义停车与意图理解弱。Sim-to-real / 泛化有限视觉域差、物理失配、指令与场景分布差。静态世界假设人、宠物、挪动的家具会搞崩记忆与规划。作者建议的未来方向终身具身记忆 意图理解跨任务复用空间语义记忆。反事实想象 因果推理世界模型先「脑内推演」再行动。可信安全导航运动学/不确定性/社会规范进决策用 CR 等安全指标。下一代大规模数据引擎可交互 3DGS 场景 更细粒度评测。给从业者的实践建议Note to Practitioners现阶段若目标是可靠真机导航优先考虑全景/广视野 显式 3D 传感 高层规划/低层控制分层同时保留可靠低层碰撞检测、急停、保守速度与人感知局部规划。纯端到端 RGB 仍适合研究与原型但安全与成功率在本评测中明显更脆。要点总结VLN 的「现代地图」是2×2分层/单体 × 判别/生成。仿真 SR 很高 ≠ 真机可用碰撞与语义停车是仿真报告里最容易被低估的两项。分层在本评测中更稳但要带着「传感栈加成」一起理解别神话架构。生成式大模型是趋势但零样本弱、微调贵统一多任务 VLA 导航NaVid 系、NaVILA 等与「可部署分层」会长期并存。开放问题若在同一传感与控制栈上只换高层策略分层 vs 单体差距还剩多少JanusVLN 的空间隐式记忆含 VGGT 相关思路在真机碰撞场景下失败是否说明「隐式几何」仍不足以替代显式避障SSR 语义标注如何规模化、可复现是否应成为未来标准指标意图/回溯指令占比提高后拓扑记忆与视频 KV-cache 记忆谁更有优势边缘端Orin本地跑 7B 级导航 VLM延迟-成功率 Pareto 如何