一句话定位DualVLN把导航拆成「慢思考 快执行」慢的 System 2 用 7B Qwen2.5-VL 在图上接地中期路点约 2 Hz快的 System 1 用轻量 DiT Flow Matching 每秒 30 次生成 32 个连续路点。两系统异步运行靠显式像素目标 隐式潜在计划双通道衔接只在仿真训真机零样本跨轮式 / 四足 / 人形。关键词任务VLN · VLN-CE · VLN-PE · Social-VLN方法DualVLN · InternVLA-N1 · 双系统 · Pixel Goal · Latent Plan · Grounding模块Q-Former · Depth Anything ViT · DiT · Flow Matching · MPC数据InternData-N1 · R2R指标SR · SPL · NE · OSR代码InternNav权重名常带InternVLA-N1-DualVLN和 InternVLA-N1 技术报告的关系本文是InternVLA-N1 双系统部分的 ICLR 2026 正式论文标题Ground Slow, Move Fast。技术报告笔者另有精读还包含 Wan2.1 世界模型、NavDP* 深度版 S1 等当前开源主推权重是本文的 RGB-only DiT S1。读代码以 DualVLN 为准。0. 论文结构章节内容§1 Introduction端到端 VLA 导航的碎片化动作、高延迟、难避动态障碍提出双系统 DualVLN§2 Related Work导航 VLA、视觉导航策略、与桌面双系统的区别§3 MethodS2 像素接地 视角调整S1 DiT 轨迹显式隐式目标两阶段解耦训练§4 Social-VLN动态行人基准 763K 社交避障训练轨迹§5 ExperimentsVLN-CE / VLN-PE / Social-VLN / 真机跨本体§6 Conclusion总结与展望Appendix AS2/S1 训练细节、prompt 模板、注意力可视化1. 背景概念VLNVision-Language Navigation视觉语言导航机器人听一句自然语言「出卧室直行楼梯口右转进浴室」边看相机画面边走到目标。VLMVision-Language Model视觉语言大模型能同时理解图像和文字的神经网络像 ChatGPT 加了「眼睛」。DualVLN 的慢系统就是在一个开源 VLMQwen2.5-VL 7B上微调出来的。Grounding视觉接地把语言里的对象或方向对应到图像上的具体位置。问「红杯子在哪」模型在图上点一下——那就是 grounding。System 2 把「下一步该往哪走」也做成图上的 2D 坐标叫 Pixel Goal。扩散 / Flow Matching一种「从噪声慢慢雕出轨迹」的生成方法。System 1 不直接回归一个数字而是学「怎么把乱线修成合理路径」。异步双系统慢系统 2 Hz 更新一次「中期目标」快系统 30 Hz 一直根据上一次的目标和当前画面刷新轨迹——像领航员隔几秒指方向司机一直盯路躲人。2. 论文在干什么2.1 痛点端到端离散动作很多导航 VLA 每一步只输出「前进 0.25 m / 左转 15°」动作碎、推理慢动态障碍来不及反应。层次纠缠把「听懂指令」「全局规划」「局部避障」塞进一个网络难以同时做好敏捷控制和长程推理。纯像素目标太浅只用 2D 像素当接口接不上 VLM 内部丰富的语义但只用隐式特征又难解释、难泛化。2.2 贡献作者自述首个双系统 VLN 基础模型DualVLNS2 慢接地 S1 快轨迹异步推理。显式像素 隐式 latent 双通道像素增强可解释性与 S2 泛化latent queries 让 S1 主动抽取任务相关语义。解耦两阶段训练先训 S2 像素接地再冻 S2、训 latent S1保住 VLM 泛化。Social-VLN 基准在 R2R-CE 上加入动态人形智能体测社交避障与任务恢复。全基准 SOTA 真机VLN-CE / VLN-PE 领先轮式 / 四足 / 人形零样本部署。3. 核心创新点#创新新在哪1Ground Slow, Move Fast 架构把 VLM 推理频率2 Hz与轨迹生成30 Hz彻底拆开低层控制器 200 Hz 跟踪真机可近实时2最远可见像素目标farthest pixel goal把 3D 专家轨迹投影到当前视角取可见范围内最远路点减少「指太近」的短视行为3自主视角调整self-directed view adjustmentS2 先决定转头/低头最多连续 4 次 15°再接地像素——模仿人「先环顾再指路」4latent queries 显式像素文本4 个可学习TRAJtoken 从冻住的 Qwen 上下文里抽隐式计划训练时 latent 仍能 attend 到像素坐标文本5RGB-only 多模态条件 DiTS1 只吃 RGBDepth Anything ViT-Small latent两帧 RGBS2 上次帧 当前帧经 MemoryEncoder Q-Former 压成 32 token6Social-VLN首个强调动态行人、绕障后回到任务轨迹的 VLN 评测新增 HCRHuman Collision Rate指标4. 方法细节4.1 System 2慢接地约 2 Hz骨干Qwen-VL-2.5 7B视觉编码器与 LLM全参数微调1 epoch数据配方跟 StreamVLN。每步输出三类之一视角调整左转/右转/抬头/低头各 15°轨迹投不进当前画面时最多连续预测 4 次转向。像素目标在当前图上输出( u , v ) (u,v)(u,v)监督为专家轨迹投影后最远且可见的路点用深度图剔除被遮挡点。STOP任务完成。训练数据构造把 VLN-CE 连续轨迹按可见性切成 grounding 样本附录有完整 prompt 模板历史帧 当前图 指令。4.2 System 1快轨迹约 30 Hz结构紧凑 DiThidden 38412 层6 头 Flow Matching生成32 个稠密相对路点。两路条件条件频率来源隐式 latentZ ′ ZZ′低S2 更新时才变4 个 latent queries 过冻住的 Qwen3584 维 → 768 维投影高频 RGBF FF高每步刷新当前帧 S2 上次用的帧 → ViT → 自注意力融合 → Q-Former → 32 token异步语义t tt时刻 S2 给出 latentt k tktk时刻 S1 仍用这份「过期计划」 新 RGB 估计已走距离并避障——这是双系统能躲动态人的关键。训练目标Flow MatchingL flow E u , X 0 , ϵ ∥ X ˙ ^ u − X ˙ u ∥ 2 2 \mathcal{L}_{\text{flow}} \mathbb{E}_{u, X_0, \epsilon} \left\| \hat{\dot{X}}_u - \dot{X}_u \right\|_2^2Lflow​Eu,X0​,ϵ​​X˙^u​−X˙u​​22​其中X u α u X 0 σ u ϵ X_u \alpha_u X_0 \sigma_u \epsilonXu​αu​X0​σu​ϵ网络预测速度场X ˙ ^ u f θ ( X u , u , Z ′ ⊕ F ) \hat{\dot{X}}_u f_\theta(X_u, u, Z \oplus F)X˙^u​fθ​(Xu​,u,Z′⊕F)。4.3 两阶段解耦训练Stage 2 · 冻 S2训 latent S1冻住的 Qwen4× latent querieslatent plan ZDiT Flow MatchingRGB 双帧32 路点轨迹Stage 1 · 训 System 2VLN 轨迹 指令Qwen2.5-VL 7B 全微调像素 / 转向 / STOP阶段训练对象超参附录Stage 1Qwen 全参数AdamWlr2 × 10 − 5 2\times10^{-5}2×10−5batch 128 对话约 1.4 万 stepStage 2latent queries DiT冻 QwenAdamWlr1 × 10 − 4 1\times10^{-4}1×10−4batch 128 轨迹约 1.5 万 step为何不能一阶段端到端训消融「w/o Sys.2 Train」S1 收敛慢、S2 泛化掉——解耦训练是论文的核心设计选择。4.4 整体推理数据流低层 · 200 HzSystem 1 · 30 HzSystem 2 · 2 Hz输入语言指令历史 RGB当前 RGBQwen2.5-VL 7B视角调整?像素目标 / STOPlatent queries → ZDepth Anything ViT-SmallQ-Former 32 tokensDiT Flow Matching32 相对路点MPC 跟踪轮式 / 四足 / 人形真机RGB-D 上云RTX 4090约 20 GBS2 用 KV-cache 把轨迹 token 推理从 1.1 s 降到 0.7 sS1 TensorRT 并行 32 条轨迹约 0.03 s里程计把相对轨迹变世界系再交给 MPC。5. Social-VLN 基准在 R2R-CE 上沿专家路径策略性放置 Habitat 3.0 人形智能体非随机乱走。新指标HCRHuman Collision Rate因撞人失败的占比。训练侧采集763K条社交避障轨迹人形 mask 超阈值时用改进 A* 重规划。Figure 4 的 Top Down Map 是什么右侧俯视图是HabitatTopDownMap评测可视化NavMesh 切片 轨迹/起点目标不是DualVLN 内部建的地图模型也不读取它。设定StreamVLN SRDualVLN SR标准 R2R Val-Unseen56.9%64.3%Social-VLN 同 split31.4%37.2%动态场景下两者都掉约 27%但 DualVLN 仍更好——说明快系统对动态障碍有价值但社交导航仍很难。6. 实验结论6.1 VLN-CE仅单目 RGB方法NE↓OS↑SR↑SPL↑StreamVLN4.9864.256.951.9UniNaVid5.5853.347.042.7DualVLN4.0570.764.358.5RxR Val-UnseenSR61.4%SPL51.8%nDTW70.0%——多语言指令也领先。6.2 VLN-PEUnitree H1 人形零样本未在 VLN-PE 上微调从 VLN-CE 权重直接评方法Unseen SR↑Unseen SPL↑FR↓NaVid16.93%15.24%11.25%Seq2Seq†15.20%12.79%20.21%DualVLN51.60%42.49%0.45%物理仿真里摔倒率极低说明连续轨迹 双系统比离散动作 VLM 更扛动力学。6.3 真机20 次/场景Turtlebot4 / Go2 / G1走廊易/ 卧室中/ 办公室难穿房间。VLM 基线里 NaVid 复杂任务易失败NaVILA 长程但终点易偏StreamVLN 会避障但完不成任务DualVLN SR 与 NE 均最优见图 5 柱状图。6.4 消融要点变体相对完整 DualVLNw/o Sys.2 TrainS1S2 一阶段联合无像素中间目标SR −9.1%SPL −7.0%w/o Pixel Goallatent 看不到像素文本SR −2.1%NE 0.17 mw/o Latent Goal只用像素 token 最后一层 hiddenSR −3.4%NE 0.21 mS1 换成 iPlanner / NavDP 深度点目标仍不如联合训练的 S1表 4S1 数据 scaling只用 S2 轨迹的1%已能打平10%近饱和——快系统轻量、样本效率高瓶颈在 S2 的 VLM 推理与接地质量。要点总结标题Ground Slow, Move FastS2 慢接地像素/latentS1 快出轨迹模型名DualVLN代码在 InternNav。接口是双通道看得见的像素坐标 看不见的 4 个 latent token缺任一都会掉点。训练必须先 S2 后 S1一阶段端到端会伤 VLM 泛化。S1 是RGB-onlyDiT Flow Matching不是技术报告里带深度的 NavDP* 版跑评测要对权重名。Social-VLN测动态人标准静态基准 SR 高不代表能躲行人。真机链路云端双系统 → 相对轨迹 → 里程计 → MPC200 Hz。开放问题Social-VLN 的 763K 训练数据是否已并入 InternData-N1 公开版像素目标在楼梯 / 大俯角相机上的失败模式视角调整上限 4 次够吗与 TAMP-Nav 的长程子集对比谁更适合人形 动态人群