「能飞到目标≠能做物理交互」目录01 CrossFly 瞄准的两个缺口02 CrossFly‑Agent分层式 VLA 基线智能体2.1 高层 VLM 规划器2.2 低层 VLA 动作生成策略2.3 训练方式与推理衔接03 数据怎么造重建场景 航路点驱动 子任务拆解04 核心指标交互就绪率 IRR05 实验结果5.1 控制变量对照难点来自环境切换不是轨迹本身5.2 IRR 有效性验证06 写在最后无人机空中抓取、物理触碰这类交互任务对飞行器的位姿有着严苛要求仅仅飞到目标点位远远不够距离、机身朝向都必须达标否则搭载的机械手依然无法完成操作。但现有的无人机交互导航基准大多只考核是否抵达目标坐标数据集也常将场景局限在纯室内或纯室外缺少穿越门窗、连通内外空间的长连续轨迹很难完整评估「导航到物理交互」的端到端链路性能。浙大高飞团队联合微分智飞推出CrossFly基准构建 23 个重建真实场景、合计 15263 条完整轨迹覆盖室内、室外、室内‑室外跨域三类任务。核心创新提出交互就绪率 IRR专门衡量导航结束时刻无人机位姿是否满足后续物理操作条件而不是只看有没有飞到点位同时配套分层 VLA 智能体 CrossFly‑Agent 做基线验证。在未见跨域场景即便性能最优的智能体任务成功率也仅 9.7%直观反映跨环境交互导航这条赛道现存的能力鸿沟。整套仿真数据集、评测协议、基线代码全部开源。图 | CrossFly 基准总览图聚焦交互导向的无人机移动任务包含多无人机本体、异构环境、照片级渲染、多样化目标物体配套自动化数据流水线和分层 VLA 智能体01 CrossFly 瞄准的两个缺口现有空中交互导航基准有两个硬伤一是环境域割裂室内、室外数据集各自独立几乎不提供跨门窗建筑边界的连续长轨迹光照、空间尺度、障碍物分布的剧烈跳变基本测不到二是评价指标错位主流沿用 SR 成功率、NE 导航误差只看是否进入目标区域而空中抓取还要求合理距离、机身朝向坐标达标但姿态歪斜、距离过远机械臂依旧会失败。导航和交互中间这一段终端状态质量长期缺少标准化量化指标。目前空中 VLA 基线大体分三类通用机器人大模型π0、GR00T‑N1.7、面向空中的专用智能体OpenFly‑Agent、微调适配空中任务的开源 VLAOpenVLA‑OFT。它们大多擅长单一域导航遇到室内外来回切换性能明显下滑。CrossFly 正是瞄准这两个缺口给出场景、数据、指标、基线一体化方案。图 | 轨迹统计与场景多样性图(a)场景类型与不同子任务数量指令分布(b)轨迹长度、路径距离分布(c)CrossFly 代表性环境场景02 CrossFly‑Agent分层式 VLA 基线智能体长时序交互导航任务的指令往往很长、子任务数量多单一端到端策略很难同时兼顾高层语义决策和低层动作生成。CrossFly‑Agent 采用分层架构把这两件事拆开高层规划管该做什么低层策略管怎么飞。两部分独立训练通过语言子任务这个接口解耦耦合——哪一层想换都能单独替换不用重新训整套。图 | CrossFly‑Agent 架构示意图高层 VLM 规划器利用视觉上下文预测活跃子任务低层 VLA 策略结合初始帧、近期观测生成 6‑DoF 飞行动作块并预测交互触发信号2.1 高层 VLM 规划器高层规划器基于 Qwen3‑VL‑4B‑Instruct。输入包含全局语言指令、夹爪状态以及一组五帧视觉上下文初始帧、初始到当前之间均匀采样的三帧历史、当前帧。这五帧刻画了轨迹推进的任务进度规划器据此输出当前应当执行的激活子任务。需要注意分工边界规划器只输出语义层面的子任务文本不生成任何飞行动作。它负责把一条长指令拆成穿过门进客厅、拿起茶杯、飞出院子这类分段意图让后续动作生成有了明确的阶段性目标。2.2 低层 VLA 动作生成策略低层策略以 QwenPi 为骨干视觉语言主干用 Qwen3‑VL‑4B‑Instruct 初始化。输入为全局指令、高层预测的子任务、夹爪状态加上三帧图像初始帧、3 秒前的画面、当前帧。模型一次性输出一段连续的6‑DoF 飞行动作块位置 滚转俯仰偏航同时预测交互触发信号——该信号决定何时结束当前飞行段、移交下游的抓取/放置策略去执行物理交互。2.3 训练方式与推理衔接规划器和策略独立训练。规划器用语言建模损失在人工校验过的子任务标注上微调策略用条件流匹配学习动作块并额外叠加交互触发监督。核心机制训练阶段给策略喂真值子任务推理阶段则完全使用上层规划器的预测输出。这也意味着规划器一旦出错会直接传导给低层动作两级的错误会累计。这里的设计取舍值得说明分层拆解降低了单模型的训练难度但引入额外的误差传递链路。论文在未见过场景测试中观察到带高层规划的 CrossFly‑Agent 相比无规划的方法在室外套件把 SR 从 16.2% 提到 18.5%说明子任务监督总体是正向收益但提升幅度有限也侧面反映跨域长时序导航本身很难靠单点改动大幅拉高。03 数据怎么造重建场景 航路点驱动 子任务拆解整套数据基于手持 3D 扫描设备采集真实环境产出 3D 高斯溅射、网格两种重建格式。流水线分三步场景重建与标注、航路点驱动轨迹采集、子任务语义拆解。先人工标注起点、中间途经点、终端交互点、转向点绑定目标物体和自然语言指令再用 Ego‑Planner 生成无碰撞参考路径PD 控制器输出飞行指令在仿真内闭环运行发生碰撞、无法抵达航路点的片段自动过滤保证样本物理可行。轨迹采完后按航路点切出子任务片段用初始帧和结束帧画面交给大模型生成每段子任务语义描述经人工校验作为训练监督。图 | 数据集构建流水线总览图从点云重建真实场景航路点标注无人机仿真采集轨迹组装 RGB 观测、无人机状态、任务标注生成基准数据集最终数据集包含 300 万帧、总飞行时长 160 小时、总里程 120km其中跨室内‑室外轨迹占比最高达到 51.2%。仿真底层基于 NVIDIA Isaac SimPhysX 处理飞行动力学、3DGS 负责照片级渲染支持搭载 SO100 机械臂的四旋翼和类人手构型飞行机器人两类本体。04 核心指标交互就绪率 IRR除了传统指标 SR 任务成功率、NE 导航误差、OSR 理想成功率论文新增交互就绪率 IRR。简单解读只统计那些已成功抵达交互区域的片段看其中有多少条轨迹的终端状态同时满足距离阈值、航向角度阈值。公式不完整罗列阈值不是人工拍脑袋定的而是用多套无人机本体做大量抓取仿真、最大似然拟合抓取成败得到的最大允许距离 0.626m航向偏角区间 [‑50.5°, 47.5°]。关键点要厘清IRR 的前提是已经抵达目标区域它衡量的是飞到之后适不适合交互不等于任务整体成功率。 就算 SR 很高IRR 依旧可能很低——代表无人机只是凑到点位但姿态、距离不达标后续操作大概率失败。这个指标补上了导航和空中操作之间的评价空白。05 实验结果实验分见过、未见场景两大评测采用场景级划分同一场景全部轨迹要么归训练集要么归测试集避免信息泄露。对比基线包含 π0、π0‑FAST、OpenFly‑Agent、OpenVLA‑OFT、GR00T‑N1.7全部统一训练配置。表 | 见过场景下各模型定量对比结果见过场景里CrossFly‑Agent 在室内、室外、室内‑室外全部套件拿到最优室内 SR 23.5%、IRR 51.0%即便是见过场景跨室内‑室外套件 SR 也只有 19.8%可见跨环境导航本身难度就很高。表 | 未见场景下各模型定量对比结果切到未见场景所有模型整体跳水。CrossFly‑Agent 依旧第一最难的室内‑室外未见套件 SR 仅 9.7%、IRR 只有 29.3%其余基线跌到个位数。这里要客观看待9.7% 不代表这套模型强恰恰反证该任务整体水平极低、空间巨大。指标边界提醒SR 只代表抵达目标区域IRR 是抵达后的终端姿态质量。就算 SR 接近 10%其中也只有不到三成的轨迹位姿能直接交给下游抓取策略真正能跑通完整导航抓取闭环的样本会进一步缩水。5.1 控制变量对照难点来自环境切换不是轨迹本身一个疑问是跨域任务变差单纯因为轨迹更长、子任务更多吗论文做了控制对照把室内、室外、跨域三组匹配轨迹长度、子任务数量、指令长度后对比。表 | 匹配轨迹统计特征下的性能对比表控制变量后室内 SR 23.64%、室外 25.28%跨室内‑室外套件只有 10.98%。轨迹统计条件几乎一致性能差距来自室内外切换带来的视觉、几何约束变化并非时序长度或子任务数量造成。这直接证明跨环境切换是一项独立技术难点。5.2 IRR 有效性验证论文用抓取案例做定性验证同一套 RL 抓取策略直接复用导航输出的终端状态。满足 IRR 阈值的样本顺利抓取物体违反距离或偏角条件的样本同一策略直接失败。图 | 抓取案例对比示意图上方样本满足 IRR 全部条件抓取成功下方样本不满足 IRR 距离或航向约束相同抓取策略直接失败图 | CrossFly‑Agent 定性结果样例图多条任务指令对应的执行帧序列06 写在最后CrossFly 的最大贡献不在于刷出多高的 SOTA而在于修正无人机交互导航的评价逻辑能飞到目标 ≠ 可以做物理交互。IRR 把导航终点的距离、朝向这些容易被忽略的终端状态变成可量化指标同时提供大批量室内‑室外穿越的异构环境轨迹数据集。从结果看即便是分层设计的 CrossFly‑Agent未见场景跨域任务成功率也只有 9.7%说明异构环境下长时序、面向交互的空中移动仍是一个远未解决的问题。这套基准为后续研究提供了统一测试土壤未来既可基于它继续改进 VLA 智能体也可拓展端到端导航‑抓取闭环评测与故障恢复任务。参考论文论文标题BENCHMARKING INTERACTION‑ORIENTED AERIAL MOBILITY ACROSS HETEROGENEOUS ENVIRONMENTS论文链接https://arxiv.org/pdf/2610.18381项目链接https://bozhistudying233.github.io/CrossFly