一句话定位把真机 ObjectNav 当成系统工程而不是单一策略高层用三层场景图 VLM 只做房间级语义决策中层房间内用经典探索低层换轮式/四足/人形底座——190 次真机实验宣称首个能稳定做楼宇级长程找物的系统。关键词系统SysNav表示与规划三层场景表示 · 房间级导航 · Early-stop · Room-query任务 / 指标ObjectNav · SR · SPL · SPT1. 背景概念术语白话ObjectNav只给类别「找冰箱」未知环境里找到任一实例并靠近VLMVision-Language Model视觉语言模型能看图读文字做常识推理的大模型SysNav 用 Gemini-2.5-flashCross-embodiment跨本体同一套高层逻辑底下换轮式/狗/人形低层控制器不同Building-scale不是单实验室一间屋而是多房间、楼宇尺度的长程找物模块化 vs 端到端模块化建图/规划/控制拆开端到端传感器直接出动作技术线模块化 ObjectNav 把 VLM 用在正确粒度房间不是每一步 frontier 真机跨本体底座。相对 HarnessVLN工具编排证据校验和 SpatialNav预探索场景图SysNav 更强调房间最小决策单元 TARE 式室内覆盖 CMU 真机栈。2. 论文在干什么问题真机 ObjectNav 同时要复杂空间结构、长程规划、语义理解。多数工作仍当成「一个策略学完」——端到端从观测直接出离散动作或过度让 VLM 管细粒度探索。VLM3D 空间感弱细粒度调用常导致折返、低效真机数据又极少。生活类比让 ChatGPT 指挥你在陌生商场里「每走两步再问一次往哪走」——常识有用但每步都问又慢又容易绕路更好是「先定去哪一层哪家店店里自己逛」。设定任务ObjectNav推广设定还可带语义约束Φ \PhiΦ颜色、状态、空间关系如「红色椅子」「lounge 里的 TV」输入o t { I t 360 , P t l i d a r } o_t\{I_t^{360}, P_t^{lidar}\}ot​{It360​,Ptlidar​}360° 全景 RGB LiDAR 点云输出连续控制a t ( v ⃗ t , ω t ) a_t(\vec{v}_t,\omega_t)at​(vt​,ωt​)成功能观察到满足约束的目标且距离≤ ϵ s u c c \le \epsilon_{succ}≤ϵsucc​评测真机 190 episode含 112 定量仿真 HM3D-v1/v2、MP3D、HM3D-OVON 共 8195 episode贡献把真机 ObjectNav 明确成三层系统问题语义 / 房间规划 / 本体控制三层场景表示 VLM 只在房间级决策轮式 / Go2 / G1 真机部署仿真四基准 SOTA 级结果3. 核心创新点系统观解耦三层而不是再训一个大策略高层语义、中层房间规划、低层底座自治各做擅长的事 → 真机可落地、可换本体。VLM 只做房间级决策最小语义规划单元 房间房间内用经典覆盖探索类 TARE跨房间才问 VLM「该不该换房 / 下一间去哪」。避免 VLM 管 frontier 级别的空间细节。三层场景图给 VLM 结构化上下文房间节点 / 视点节点 / 物体节点 多种边属性与空间关系按需用 VLM 推断避免图过密。跨本体同一中高层低层换控制模块航点统一下发Mecanum / Go2 / G1 各自运动控制传感器同为 Mid-360 Theta Z1 全景。4. 方法细节4.1 高层 — Semantic Reasoning场景表示三层节点节点含义关键属性Roomv r v^rvr墙面拟合 膨胀切分出的房间mask、类别、代表 RGBViewpointv v v^vvv覆盖足够新区域时记下的视点位姿、覆盖域、全景图Objectv o v^ovo开集检测分割得到的实例类别、置信度、点云、bbox、代表图、按需属性边房间–房间门口连通、房间–视点、房间–物体、视点–物体可见、物体–物体仅任务要求空间关系时才建。检测/分割YOLOv8x-worldv2 SAM2.1房间分割受 Hydra / HOV-SG 一类启发。VLM Reasoning在结构化表示R \mathcal{R}R上做常识推理给中层「语义接地」的导航指导——不替代几何规划。4.2 中层 — Room-based Navigation房内探索In-room借鉴 TARE 式两级规划局部视界采样可通行位姿按未覆盖表面点算覆盖分w c o v w_{cov}wcov​随机加权采样候选 → TSP 成局部路径滚动窗把出界候选交给全局 TSP路径转航点给低层跨房策略两种模式Early-stop探索中发现新房间 → 把当前房/新房属性物体集目标G \mathcal{G}G喂 VLM决定是否提前结束当前房切到新房。Room-query当前房扫完仍无目标 → 把未覆盖房间属性 轨迹 目标喂 VLM选最可能含目标的下一房。4.3 低层 — Base Autonomy航点跟随 避障 可通行性不同本体换运动模块M MMGo2/G1 用内置 locomotion。底座参考 CMU mecanum autonomy stack / exploration development environment。5. 整体框架Mermaid房内跨房360全景 LiDAR建三层场景图 RVLM 房间级推理中层: 房间策略经典覆盖探索 TSPEarly-stop / Room-query航点低层底座自治轮式Unitree Go2Unitree G1低层控制中层规划VLM场景图R低层控制中层规划VLM场景图R进入房间 vialt[发现新房间 vj][本房扫完无目标]房内覆盖探索Early-stop 上下文是否切房Room-query 未覆盖房列表下一房间航点序列新观测更新图6. 实验与结论仿真Table I开集零样本基准SysNav SR / SPL对照亮点HM3D-v163.7/ 30.5超 ApexNav SR 59.6SPL 略低于 ApexNav 33.0HM3D-v280.8/ 37.2超 ApexNav 76.2 / 38.0MP3D50.7/18.1全面领先HM3D-OVON54.9/26.1相对 MTU3D 等提升明显SR 14.1 点量级作者解释SPL 提升小于 SR因真机导向的严格覆盖在仿真里略「扫多了」。真机定量Table II轮式112 episode相对 VLFM / InstructNavEasy/Medium/Hard 上 SR 接近满分100 / 97.5 / 98.3Hard 的 SPT、AT 大幅优于基线作者称效率约4–5×。Hard三房间需跨房Medium 障碍更密故时间指标略吃亏。真机定性78 定性 episode楼宇级、多约束自属性红 / 空间关系蓝 / 目标橙Go2、G1 演示跨本体。局限文中/可推依赖全景相机 LiDAR仿真相机设定与真机不同房间分割依赖墙面几何开放大空间可能难切VLM 用云端 Gemini延迟与离线场景未深谈SPL 在仿真非全面第一覆盖策略偏保守要点总结真机 ObjectNav ≠ 再训一个端到端策略分层 正确粒度用 VLM更务实房间 VLM 最小决策单元房内交给经典探索三层图房/视点/物是给 VLM 的「结构化说明书」属性按需推断跨本体中高层不动低层换 locomotion真机无最短路径时用 SPT 代替 SPL开放问题房间分割失败玻璃墙、大厅时 Early-stop / Room-query 如何退化代码仓库已开源 → github.com/zwandering/SysNavUnity / 轮式 / Go2 / G1 分支参考cmu-vln.github.iogithub.com/zwandering/SysNav