大家读完觉得有帮助记得关注和点赞摘要本文提出了一种面向GPS受限、无线电挑战性室内环境的微型无人机基于视觉自主飞行的新型数据驱动方法。目标应用是灾害和应急救援其中微型无人机可以在消防和化学、生物、放射性和核CBRN事件等危险环境中提供快速态势感知同时降低人类救援人员的风险。当通信链路丢失时微型无人机使用学习到的偏航控制器自主导航向开阔空间保存本会随飞行器一同丢失的机载传感器数据。我们使用配备360度摄像头的定制微型无人机记录了多样化的工业、地下和训练场景这些场景代表了通信受限的现场操作。我们引入了一个预处理流水线将等距柱状投影360度视频转换为平面前视图并动态生成用于AI训练的图像-标签对。然后我们训练并比较了多个卷积神经网络变体这些变体从单目视图预测连续的偏航指令。在保留测试集上的评估证实了学习偏航预测方法的可行性。半自主真实世界测试进一步证明了该方法的实用性同时揭示了关键的失效模式特别是反射和眩光。索引词 灾害现场机器人微型无人机GPS受限导航全向视觉数据集基于学习的偏航控制I. 引言无人驾驶飞行器UAV越来越多地被用于支持急救人员和检查团队因为它们可以在不使人类操作员面临直接风险的情况下提供态势感知[12]。更广泛地说机器人已越来越多地部署在灾害和应急救援中在危险环境中提供态势感知同时降低人类救援人员的风险。灾害机器人领域的开创性工作强调了在GPS受限、通信丢失和环境杂乱等条件下鲁棒感知和自主性的重要性在这些条件下人类远程操作可能不可靠或不可能[2]。图1 数据集概览3×3网格的等距柱状投影360°缩略图展示了多样化的GPS受限灾害响应相关环境包括矿井、消防训练设施、工业场地、桥梁通道和室外区域。微型无人机特别适合应急救援中的侦察因为它们可以快速部署、降低人类风险并且在需要时可以作为可牺牲资产[19]。然而实际部署经常发生在GPS受限、杂乱和通信挑战性环境中如工业设施、隧道和地下室其中无线电链路因阴影和衰减而退化[21]。如果控制链路中断能够自主稳定并搜索安全出口路径的微型无人机可以显著提高此类系统的操作价值[17]。这种恢复能力满足了一个具体的操作需求维持受控飞行并从通信受限区域撤退从而保存侦察数据图像、热力图或气体传感器读数否则这些数据将随飞行器一同丢失。这种数据恢复通常是灾害响应的主要任务目标其中态势感知可以直接为人类救援人员的战术决策提供信息。除了基于学习的导航近期工作还研究了配备360°摄像头和神经场景学习技术的UAV以改善灾害环境中的态势感知和3D重建[20]。许多自主导航栈依赖主动测距传感如LiDAR进行建图和定位[15]。然而对于微型无人机此类传感器可能过于沉重、耗电或昂贵这促使了更符合有效载荷、功率和成本约束的纯视觉方法[8]。基于视觉的学习方法可以利用外观线索如走廊结构、开口和障碍物在显式建图传感器不可行时预测导航指令。在本工作中学习的偏航控制器被设计为一种实用的恢复机制当通信链路丢失时它使微型无人机能够向开阔空间导航同时保存本会随飞行器一同丢失的机载传感器数据。因此本文聚焦于学习从单目前视图到连续相对偏航控制指令的直接映射。主要贡献包括• 一个使用配备360°摄像头的定制微型无人机记录的真实世界数据集涵盖多样化的室内和室外场景以及一个预处理流水线将等距柱状投影视频转换为平面视图并动态生成图像-标签对以减少内存占用• 对多种CNN变体进行偏航回归的实证比较• 一个半自主真实世界验证揭示了实际优势和局限性。II. 相关工作早期的基于学习导航流水线通常使用分类来选择粗略的转向方向。Giusti等人[5]训练了一个CNN将小径方向分为三类左转/直行/右转基于单目图像并演示了森林环境中的户外小径跟随。Pearson等人[13]提出了架构和数据处理改进如激活函数选择和数据集重构并报告了改进的分类准确率。与粗方向分类不同Samy等人[16]将偏航预测表述为回归问题并使用在合成数据上训练的CNN流水线在GPS受限环境中跟随航点路径。受这些工作的启发我们聚焦于真实世界室内外数据和用于微型无人机导航的连续偏航回归。更一般地我们的方法可以归类为端到端模仿学习也称为行为克隆其中策略通过监督学习训练基于演示行为直接将视觉观察映射到控制指令。由于其简单性和适合实时部署的特点此类方法已广泛应用于移动机器人和自动驾驶特别是在显式建图或规划不可行时[1]。与基于强化学习的导航相比模仿学习能够直接使用真实飞行数据无需手工设计的奖励函数或在线探索——这些特性促使其在安全关键的UAV任务中被采用如避障[10]、低空MAV小径导航[18]和杂乱环境中的敏捷飞行[9]并且在灾害响应场景中尤其相关因为在线试错是不可接受的。近期的深度强化学习方法如DCE[7]和VDS-Nav[3]从深度图像预测连续3D速度和偏航率指令用于杂乱环境中的闭环导航分别通过真实数据增强的潜在编码器和基于深度的屏障奖励弥合了仿真到现实的差距。它们的偏航率选择适合其任务策略本身以传感器速率对低级速度控制器闭环动力学。我们的设置不同视觉-惯性稳定平台上的方向引导恢复组件其中机载稳定器处理姿态和速度跟踪。因此学习任务简化为在单目RGB视图中识别恢复方向所在位置角度到速率的增益是下游控制器的决策。绝对偏航角是自然目标因为每个标签是从等距柱状投影全景图中提取视角的几何提取角度——一个静态的单帧量。推导偏航率需要要么对连续姿态进行微分将网络耦合到记录平台的动力学要么应用一个控制器可以等效在下游应用的任意增益。与先前工作的直接定量比较具有挑战性因为现有的室内导航数据集如户外小径跟随[5]针对不同的环境和传感器配置并且在GPS受限的灾害代理设置中不存在偏航回归的既定基准。我们的分类合理性检查第VI-A节确认数据集和生成器产生与先前三类方法一致的可学习信号而回归公式可实现更细粒度的控制。III. 系统概述本节描述用于数据收集的硬件平台以及激发学习偏航控制器的操作概念。III-A 平台与传感器设置数据主要使用定制微型无人机收集尺寸为200 mm × 270 mm质量为425 g。一个修改版BetaFPV SMO 360摄像头为FPV应用优化的Insta360 ONE R 360模块的简化变体集成到机架中。每个镜头以2880×2880像素录制拼接后视频分辨率为5760×2880约30 fps。数据集的一个关键特性是记录的360°视频是无遮挡的无人机本身在拼接视频帧中不可见。在典型的无人机载360°录制中全景球面多达33%被平台自身遮挡[20]。此处使用的机械集成基于[20]中引入的隐形无人机平台消除了这种自遮挡使得完整全景球面可用于平面视图提取和动态数据集生成。这是第IV-E节中描述的前后映射的结构性先决条件该映射通过重用每帧的后半球使有效训练数据翻倍。此外原始记录包含存储在元数据中的同步惯性测量IMU可用于校正噪声标签并在未来工作中改进鲁棒性分析。图2用于数据集录制的定制微型无人机平台集成360°摄像头。III-B 操作概念学习的偏航控制器被设计为恢复组件当与操作员的通信链路丢失时微型无人机使用其前视摄像头视图预测偏航指令引导其向开阔、可通行空间飞行。通过维持受控飞行并从通信受限区域撤退该平台保存了本会随飞行器一同丢失的侦察数据。我们强调此偏航控制器是一个使能组件在操作部署前需与保守安全保障人在回路决策权、地理围栏、速度限制和紧急停止行为集成。学习的偏航控制器假设低级状态估计和位置保持由视觉惯性里程计VIO流水线如OpenVINS或VINS-Fusion[4, 14]提供。这些系统融合IMU和摄像头数据即使在GPS受限环境中也能维持稳定悬停和高度保持。在此基础之上无人机执行恒定前向速度而CNN仅提供偏航校正指令。这种关注点分离将学习问题限制为方向引导——一个深思熟虑的设计选择利用了VIO稳定化的成熟性避免将飞行控制与导航学习混淆。IV. 数据集与预处理流水线本节详述录制的场景、拼接工作流以及将360°视频转换为用于训练的平面图像-标签对的动态数据集生成器。IV-A 录制场景录制在多个工业和室内地点进行包括地下结构和训练设施目标是代表与应急救援操作相关的环境。这与空中机器人在消防和危险材料场景中的先前工作和实际部署一致[6]。虽然本研究无法访问实际灾后环境坍塌结构、瓦砾场但录制的工业和地下场景与受灾结构共享关键的感知挑战近乎完全的黑暗地下矿井、厚重的烟尘沉积和高动态范围照明消防训练设施、受限和退化的结构元素工业遗产场地以及狭窄的金属通道桥梁检查。我们承认真实灾害场景可能带来额外挑战如动态烟雾、不规则瓦砾几何和移动障碍物。在某些地点飞行操作不被法律允许因此额外序列使用三脚架设置手动录制。IV-B 拼接与对齐原始双鱼眼录制被拼接为等距柱状投影视频并裁剪以移除起飞/着陆段。由于摄像头相对于无人机机身有固定偏移安装还应用了额外的偏航对齐。图3从双鱼眼摄像头视图到等距柱状投影表示的拼接流水线。IV-C 数据集大小与划分从原始视频中我们手动选择代表性序列并每10帧提取一帧对应约3 fps的有效采样率。这产生了表I中总结的等距柱状投影帧。由于主要部署目标是自主微型无人机测试集完全由无人机录制组成而手动录制作为训练数据以拓宽场景多样性并作为数据增强的一种形式。表I数据集摘要预处理后属性值场景数10原始视频无人机/手动15646/110总时长2小时07分49秒等距柱状投影帧总计11,058室内/室外5,806 / 5,252无人机/手动7,051 / 4,007划分训练/验证无人机手动9,953测试仅无人机1,105生成平面样本来自手动10×40,070来自无人机20×141,020总计181,090IV-D 动态数据集生成器我们不导出静态平面图像集而是采用动态数据集生成器在训练时产生平面输入视图和相应的偏航标签。通过从等距柱状投影图像密集采样平面裁剪这种方法作为强数据倍增器同时减少存储开销并实现受控视图采样和一致增强。我们从拼接的等距柱状投影帧开始提取模拟常规前视摄像头的平面投影。为匹配数据收集期间的预期飞行姿态我们将俯仰固定为水平飞行配置并将360°球面限制在水平带内图4。图4等距柱状投影帧显示用于平面视图提取的水平带固定俯仰。平面图像以90°视场角FOV提取初始分辨率为600×600像素。训练时我们下采样至101×101像素以匹配基线网络[5]输入尺寸。几何变换示例如图5所示。偏航采样区域如图6所示。图5从等距柱状投影帧提取平面视图的示例。图6等距柱状投影图像中偏航角相对于无人机的可视化俯视图。绿色区域标记使用的视场红色区域指示可能混淆网络的模糊边界视图。IV-E 即时配对生成与标签映射每个平面视图的地面真实偏航标签直接从其在等距柱状投影帧中的提取角度派生。通过构造等距柱状投影图像中心在θ90°对应无人机的瞬时航向参见图6如第IV-C节所述偏航对齐所保证。在数据收集期间无人机沿引导出每个场景的恢复路径手动飞行如朝向隧道或走廊出口其偏航连续对齐到路径方向[5]。因此每个等距柱状投影帧的中心点与当时演示的恢复航向重合。在角度θ提取的平面视图相对于此中心直接编码任意观看方向与地面真实恢复航向之间的偏航偏移。对于每个等距柱状投影源帧生成器从[30°, 150°]前向范围随机采样N10个偏航角产生平面视图。提取角度θ_extract直接作为地面真实标签在θ_extract60°提取的视图表示正确航向90°位于图像中心右侧30°的视角需要向右偏航校正。相反θ_extract120°意味着30°向左校正。对于无人机录制我们额外从[210°, 330°]后向范围采样N个视图并通过θ_label 360° - θ_extract将它们映射到前向范围。例如在θ_extract210°提取的视图被重新标记为θ_label150°模拟等效的前方视角。这实际上使每帧训练样本数翻倍同时保持一致的标签语义。网络在归一化输出范围上操作。设t为应用前后映射后的偏航标签度其中t∈[30°, 150°]。我们通过下式将其映射到归一化范围y∈[-1, 1]对于报告和实际控制应用逆映射将网络输出转换回度数。IV-F 图像归一化与增强图像归一化到[-1, 1]范围。我们应用轻微仿射增强平移±10%旋转±15°缩放±10%以增加鲁棒性。这些增强在投影后应用因此它们模拟真实的摄像头扰动而不改变偏航标签。V. 学习方法本节形式化偏航预测任务描述评估的CNN架构并指定训练过程。V-A 问题表述我们从单个平面前视图预测连续的偏航指令。设x表示平面RGB图像f_θ(·)为参数θ的CNN回归器。网络输出ŷ f_θ(x) ∈ [-1, 1]线性映射回操作偏航范围[30°, 150°]。给定训练集{(x_i, y_i)}ᵢ₌₁ᴺ其中平面图像和归一化偏航标签y_i ∈ [-1, 1]我们通过最小化预测与地面真实偏航之间的均方误差获得θV-B 架构我们从先前小径跟随[5]工作中用作基线的紧凑CNN架构开始并将其从分类三类调整为回归单标量输出。我们评估了九个变体分为五个设计家族itanh基线回归器iiReLU激活iii带dropout的ReLU若干dropout率iv带批归一化的ReLUvleaky-ReLU若干负斜率。V-C 训练过程我们使用第V-A节定义的MSE损失进行监督学习。优化使用随机梯度下降SGD初始学习率5×10⁻³每轮指数衰减因子0.95。训练运行100轮小批量大小为3小批量机制可以改善泛化并提供隐式正则化效果[11]。动态生成的数据集划分为90%训练和10%验证。VI. 实验与结果我们在三个阶段评估所提出的流水线分类合理性检查、跨架构变体的系统回归比较以及半自主真实世界飞行测试。VI-A 通过分类进行生成器验证作为数据集生成器的合理性检查我们首先复现了Giusti等人[5]的三类左/直/右分类设置。在保留测试集上最佳运行达到0.9201准确率10次运行均值0.9099。这表明即时生成产生一致的训练数据且数据集支持方向相关视觉线索的学习。VI-B 回归性能对于偏航回归每个模型变体以不同随机种子训练10次。在保留测试集上表现最佳的变体是leaky-ReLU回归器负斜率α0.05R²为0.8074。在网络内部范围[-1,1]中最佳模型产生MSE 0.0649和RMSE 0.2548。映射到度数[30°,150°]后同一模型达到15.28° RMSE和10.146° MAE。图7 预测与目标偏航值度理想对角线参考。预测与目标关系度如图7所示展示了跨操作范围的强线性一致性。预测保持在对角线中心附近无强烈系统偏差但预测误差向范围两端增长当无人机面对墙壁时视图不揭示墙壁在其左侧还是右侧使得这些偏航角模糊产生在极端处看到的较重尾部。为减少由此产生的边界异常值我们将数据采样器的视场限制在明确的[30°,150°]区域图6绿色并从训练中排除墙附近的红色区域。表II架构变体最佳测试结果偏航回归架构MSERMSEMAER²Tanh回归器基线0.07720.27780.18770.7710ReLU回归器0.06700.25880.17610.8013ReLU Dropout (p0.2)0.08430.29040.20820.7498ReLU Dropout (p0.3)0.11590.34050.25550.6560ReLU Dropout (p0.5)0.14830.38510.29220.5600ReLU 批归一化0.07790.27900.18380.7690Leaky-ReLU (α0.01)0.06550.25590.17160.8057Leaky-ReLU (α0.05)0.06490.25480.16910.8074Leaky-ReLU (α0.1)0.06500.25490.16920.8072VI-C 消融与架构效应用ReLU替代tanh激活一致改善了验证损失和测试指标[13]。相比之下在测试配置中添加dropout降低了性能表明基线架构和数据集已提供大量正则化额外dropout可能导致欠拟合。Leaky-ReLU在比较变体中实现了最佳整体测试性能。VI-D 误差分析我们观察到预测误差在场景间并非均匀分布。图8总结了跨一些测试场景的代表性预测。在大多数情况下预测角度与目标紧密匹配导致正确、无碰撞导航如(a)和(b)所示。在(d)-(g)中小的差异源于数据集创建期间手动飞行引入的目标角度不准确性而非预测误差在其中几个案例中网络预测实际上比标记目标更接近理想飞行方向表明模型可以补偿错误标记的数据。总体而言最大的预测误差源于两种不同的失效模式。第一种是光度学的在(h)中高动态范围照明和强镜面反射导致模型将亮区域误解为可通过的开口使其预测替代尽管可能仍然有效的逃逸方向。第二种是几何学的并非由反射或眩光引起在(c)中场景纹理贫乏且包含多个视觉上同样可行的逃逸方向具有相当的开放性输入视图中不存在镜面伪影。这里网络选择了不同但仍几何上有效的开口反映了此类场景中底层偏航分布的固有多模态性。用MSE目标训练的单帧回归器无法表示这种多模态性倾向于坍缩到单一模态即使预测方向仍可无碰撞也可能对单一地面真实标签产生大的角度误差。图8保留测试集上的定性示例地面真实偏航绿色与预测偏航红色叠加在平面投影上。更多示例可在GitHub获取。VI-E 推理基准为评估对机器人相关计算平台的适用性我们测量了推理吞吐量。共执行1001次前向传递其中第一次用于预热。报告运行时间对应剩余1000次运行的平均值。所有基准使用PyTorch和ONNX运行时进行。表III推理基准概览模型前向传递硬件平均时间ms吞吐量Hz高端工作站GPU0.166–0.4982008–6024嵌入式GPUJetson Orin1.486–1.528654–673低功耗CPURPi 4级45–1129–22VI-F 真实世界半自主测试使用DJI Tello EDU微型无人机进行了真实世界半自主测试。我们强调此测试旨在作为策略验证而非部署演示其目的是确认仅在动态生成的等距柱状投影视频平面裁剪上训练的网络能在先前未见过的来自不同平台的前视摄像头流上产生可操作的偏航指令。第III-A节介绍的自定义录制无人机不能用于此闭环测试因为它被有意设计为隐形录制平台其整个有效载荷预算分配给360°摄像头没有容量用于如Jetson Orin或同等嵌入式GPU的机载飞行计算机。该平台的ArduPilot飞行控制器暴露MAVLink接口但没有机载配套计算没有室内位置保持仅GPS状态估计以及专有模拟FPV摄像头Caddx Vista无法用于实时推理。相比之下DJI Tello EDU提供通过Wi-Fi的文档化Python SDK、可访问的前置摄像头流和稳定的室内悬停使其成为闭环验证学习策略最直接的方式。表III中的基准平台被选择是因为它们代表通常集成到本工作目标类型微型无人机中的嵌入式计算类别测量的吞吐量确认在我们平台未来迭代将携带的硬件上进行机载推理是可行的。Tello的前置摄像头流通过Wi-Fi发送到运行训练网络的外部计算机预测的偏航指令作为控制输入发送回同时前向运动保持恒定图9。成功穿越了先前未见过的室内实验室环境包括无碰撞通过门口。图9 真实世界验证中使用的机载半自主偏航控制回路。DJI Tello EDU通过Wi-Fi将前置摄像头图像流传输到外部服务器。服务器执行基于CNN的偏航预测并将偏航转向指令发送回无人机同时前向速度保持恒定。VII. 结论与未来工作本文的主要贡献是获取了一个新颖的真实世界数据集并实现了一个初始学习流水线。该流水线设计用于从360°录制派生的平面图像预测偏航指令。此外我们强调来自开放环境的数据比来自受限环境如工业设施或赛道的数据更有价值——也更难获取。最佳模型在保留测试数据上达到15.28° RMSE和10.146° MAE并在半自主真实世界测试中证明了可行性。我们的结果表明在代表性、场景多样数据上训练时微型无人机上的纯视觉偏航控制是可行的。用ReLU替代tanh改善了回归性能而添加dropout降低了结果表明可能过度正则化。Leaky-ReLU产生了最强的整体测试性能。主要的实际限制是对光照极端和镜面反射的鲁棒性。进一步的结构性限制是单帧反应策略没有时间记忆没有过去观察的历史控制器无法区分之前访问过的死胡同和未探索的走廊可能重新访问仅从单视点看起来开放的区域。鉴于自主飞行的安全关键性质未来系统应将学习偏航预测与额外保障相结合如不确定性估计、保守回退行为或互补感知。不用说还有很多工作要做。我们已经在构建一个更先进的小型无人机配备四个180°鱼眼摄像头将在即将发表的论文中展示。预测超出偏航角是必须的。未来工作包括i增加数据集多样性和规模ii针对亮度/对比度和眩光的定向增强iii使用额外传感器信号如IMU校正潜在噪声标签iv使用现代预训练视觉Transformer骨干的迁移学习v研究领域适应策略包括在小型灾后数据集上微调和能见度降低条件烟雾、灰尘、水雾的合成增强以评估训练分布之外的泛化能力。数据集和训练源代码均已公开。