做了大半年的风电叶片缺陷检测项目从无人机选型、数据采集、标注复检到YOLOv26模型训练、端侧部署再到最后跟运维工单系统对接完整链路走下来把能踩的坑基本都踩了一遍。整个过程最深的体会是叶片缺陷检测真正的难点不在算法本身而在于如何让模型在真实场景的光照、天气、无人机姿态变化中保持稳定。这篇就把整套方案的思路、配置和实战教训拆开来讲适合正在做工业视觉检测、无人机巡检或者打算把目标检测落到新能源运维场景的朋友参考。先说清楚这套系统解决什么问题用搭载可见光相机的无人机围绕风机叶片飞行实时检测叶片表面的裂纹、雷击损伤、前缘腐蚀、漆面鼓包等缺陷类型并定位缺陷在叶片上的大致位置。相比传统人工望远镜观察、吊篮检修或者后期人工翻看无人机照片的方式这套方案把“发现缺陷”这件事从纯人工变成了模型自动完成单台风机巡检时间可以压缩到原来的三分之一左右而且检测结果可以结构化留存方便后续对比同一个缺陷的变化趋势。1. 为什么叶片缺陷检测必须从“人眼望远镜”换成无人机视觉1.1 叶片运维的现状痛点风电叶片是风机成本最高、也最容易受环境损伤的部件之一。运行几年后前缘风沙磨损、雷击点烧蚀、胶衣开裂这些损伤几乎不可避免。过去发现缺陷主要靠两种方式一种是巡检人员站在塔筒底部或者地面用望远镜看这种方式只能看到叶片朝向地面一侧的大面积损伤细裂纹基本看不到另一种是定期安排高空吊篮或者蜘蛛人下去近距离检查成本极高而且高空作业的排期和风险都不小。我接触的很多风场项目里叶片缺陷的发现往往带有偶然性——某个机位发电效率异常或者巡检员在望远镜里看到表面有异样才安排专项检查。也就是说大量细微缺陷实际上处于无人监控的状态等到发展成大问题再处理修复成本和停机损失都完全不一样了。无人机的好处在于它改变了到达叶片表面这个动作的成本。一架多旋翼无人机带上云台相机半小时内可以绕一台风机把三支叶片从不同角度拍一遍。但问题也在这里——一台风机半小时可能产生两千多张照片一个风场几十台风机就意味着几万张照片。如果靠人工看疲劳导致的漏看是必然的而且缺陷的表征差异极大人眼在屏幕上找细裂纹的效率远没有想象中高。这时候检测模型的价值就体现出来了。1.2 无人机视觉方案的命中逻辑与价值这套方案的逻辑链路是无人机按规划航线飞行云台对准叶片表面图像实时进入推理模块模型判断当前画面中是否存在缺陷类别、缺陷框落在什么位置、置信度是多少。一旦超过阈值系统立即触发悬停补拍动作同时把当前帧的坐标、飞行姿态、相对叶片的位置信息一并记录。选择“目标检测”而不是“图像分类”或“语义分割”是这个项目的关键决策之一。分类只能判断整张图里有没有缺陷但叶片占据画面的大部分区域有缺陷和没缺陷的图片帧比例悬殊分类结果无法告诉你缺陷在叶片的哪个位置。分割虽然能给出像素级区域但对细长裂纹这类目标像素级标注成本极高而且后续只需要一个框来驱动无人机补拍和生成工单分割的精细度在目前的业务流程里用不上。检测框的粒度刚好匹配既能给出位置又维持了可接受的标注成本。整个系统的核心价值就是三句话把不可达区域变成可视化数据把人工看图变成模型初筛把碎片化的巡检记录变成可对比的缺陷档案。后面所有的技术细节其实都是围绕这三件事展开的。2. 缺陷数据从哪来采集规范与标注口径决定模型上限2.1 无人机飞行采集的动作设计与图像质量底线很多项目一开始就走弯路觉得模型效果差就差在算法上实际数据质量才是决定上限的那个桶底。叶片是细长结构无人机拍摄的视角、距离、光照条件稍有不同图像内容就差异很大。我做了多次飞行采集之后总结出几条硬性要求第一飞行路径必须覆盖叶片的全展向。从叶根到叶尖无人机沿叶片方向逐段扫描每段之间保持不少于60%的图像重叠率。重叠率低了后续拼接或比对时会出现间隙缺陷容易漏掉。第二拍摄距离控制在3到8米之间。太远了细小裂纹在图像里只占几个像素模型根本学不出来太近了单帧画面里叶片纹理的重复度高可供模型参考的上下文太少也容易误检。实际操作用长焦端拍摄画幅里叶片表面占整个画面的60%以上这个尺度下大部分缺陷都有足够的像素量。第三拍摄角度要分迎风面和背风面分别覆盖。裂缝在光照方向不同时表现差异很大同一道裂纹在顺光下可能非常清晰逆光下就完全隐没。训练数据里必须包含这两个方向的样本模型才能学会不受光照方向干扰。图像质量底线上我明确要求快门速度不低于1/1000秒配合无人机悬停和电子防抖避免运动模糊。模糊图像在训练集里少量存在可以帮助模型适应实际情况但如果模糊帧占比例太高模型就会学得模棱两可。2.2 缺陷类别划分与标注的颗粒度标注口径是整个数据处理环节最不能糊弄的部分。我们结合常见叶片损伤类型把缺陷类别定成五类实际效果不错。大概的类别设计如下类别典型形态拍摄特征标注要求裂纹沿叶展方向的细线长短不一亮背景下深色细线光照变化大紧密包围整个裂纹不扩大背景前缘腐蚀边缘剥落、麻点、漆面缺失前缘区域成片分布边界模糊按区域标不追求每个麻点独立框雷击损伤烧蚀痕、贯穿孔、放射状裂纹颜色偏黑周围有烧焦痕迹损伤主体一个框散落痕迹另标漆面鼓包局部漆面隆起或脱落圆形或椭圆形区域有明显边界保留连带起皮区域不标到正常漆面制造缺陷补丁鼓起、表面不平整一般是规则几何形状按可见异常区域标标注细节上最需要注意的一致性规则是细长裂纹的标注框必须紧贴裂纹走向不要为了省事用一个几乎全尺寸的大框把整片区域框起来。大框会带入太多正常表面特征模型学到的特征会发生偏移。多人协作标注时必须先做一轮标注口径校准让标注员看同一个典型样本对齐对“裂纹边缘”、“腐蚀范围”的理解否则模型会被标注噪声带偏。另一个容易被忽略的问题是数据划分。叶片是同一个物体从不同角度拍摄的图像高度相似如果同一支叶片的图像既出现在训练集又出现在测试集指标会虚高换到陌生风场就露馅。正确做法是按叶片维度划分数据某几支叶片的所有图像全部进训练集另外几支叶片的所有图像全部进验证集和测试集。这样模型面对的是真正的跨叶片泛化场景。2.3 数据分裂、样本不均衡与增强策略叶片缺陷存在天然的长尾问题裂纹最常见、实例数多雷击损伤和制造缺陷相对稀少。如果直接训练模型对稀有类别的学习会非常不充分。处理思路有两路并进——在损失函数上对稀有类别加权重在数据层面用针对性增强补齐样本。数据增强层面常规的翻转、旋转、颜色抖动是基础但对叶片场景最有用的几个增强手段反而很少有人强调。第一个是亮度对比度随机调整模拟无人机在不同朝向、太阳位置下看到的极端明暗差异。第二个是运动模糊和轻微高斯模糊让模型对机载相机的对焦不足保持鲁棒。第三个是小目标复制粘贴增强从原图里把裂纹、腐蚀区域“抠”出来随机贴到其他叶片表面图像上用来扩充小目标样本数量。这个操作对细裂纹召回率的提升非常直接。样本不均衡还有一个容易踩的坑不是缺陷帧不均衡而是不同叶片区域的背景不均衡。比如模型经常把叶根接闪器、螺栓孔等部件误检成缺陷就是因为这些特殊区域在训练集里出现得少。后来我们专门补采了一批叶根和接闪器特写并加入训练误检率明显下降。这类问题在标注阶段几乎发现不了只有跑完一轮推理、专门统计误检框的位置分布之后才能定位。3. YOLOv26模型训练的落地配置与指标评估3.1 为什么选YOLO系列而不是其他检测框架关于模型选型这个问题的答案跟场景强相关。风电叶片缺陷检测对实时性有要求无人机飞行过程中需要即时反馈不能拍完几百张图再统一离线处理。两阶段检测精度虽高但速度偏慢在机载算力有限的情况下不划算。实时单阶段检测器里YOLO系列的工程成熟度是最高的——训练生态完整导出部署链路顺畅社区资料丰富出了任何问题都能找到人讨论。选择YOLOv26看重的是几个方面。它的骨干网络结构相比早期版本明显增强对短纹理和小目标的特征提取能力更好同时保持了单阶段检测器的高推理速度。动态标签分配策略让正负样本的划分更合理训练时收敛更稳定。新版本还内置了多种数据增强策略虽然这项功能夜间训练时可以直接用但我更倾向于关闭内置增强、自己控制增强组合这样能精确控制训练分布。还有一个很现实的理由YOLOv26的预训练权重在通用视觉数据集上做得足够好做叶片缺陷这种垂直场景时用预训练权重做全量微调几百张到一千多张的有效标注图就能训练出可用的检测器。如果从零开始训练同样数据量下效果会差非常多。3.2 训练细节分辨率、超参数与收敛节奏叶片缺陷检测中输入分辨率直接影响小缺陷的检出能力。我们的标注图原始分辨率很高但统一缩放时如果压得太小细小裂纹在特征图里就消失了。实际项目中推理和训练使用1280x1280输入而不是默认的640。高分辨率训练会明显增加显存占用但在机载部署时可以做一次尺寸切换这个后面部署部分会细说。训练参数方面给一个实测下来比较稳的配置模板。这里以常见训练框架为例如果你是拿公开YOLO库训练直接照这个思路设置就好# 训练命令参考示例 yolo detect train \ datablade_defect.yaml \ modelyolov26.pt \ imgsz1280 \ epochs150 \ batch16 \ lr00.005 \ lrf0.01 \ warmup_epochs5 \ hsv_h0.2 hsv_s0.4 hsv_v0.4 \ degrees30 translate0.2 scale0.4 \ mixup0.2 copy_paste0.3 \ cacheTrue几个参数的具体含义值得多说几句。学习率设置到这个量级配合预热阶段前几个epoch模型不会因为随机权重剧烈抖动warmup结束后主干网络逐步进入正常学习速度到后期余弦退火让学习率平滑降下来损失曲线会更干净。copy_paste增强对小目标帮助极大mixup我调得偏低因为叶片表面特征重复度高过强的mixup会让模型学到错误的背景混杂。训练集总量方面我们最终用了大约三千张有效标注图像数据增强后每个epoch相当于两万张左右。训练曲线方面到120个epoch左右mAP趋于平稳损失值不再明显下降。没有追求更低损失因为从实际推理看继续训练会出现轻微过拟合训练集损失降、验证集损失反而微升。显存不够时的替代方案很简单先把模型缩小一档比如用1/2通道宽度的版本跑通整个验证流程确认数据集和参数没有问题再换完整模型做正式训练。不要一上来就压batch size压到很小那样批归一化层的统计量会很不稳定。3.3 不看mAP看什么巡检场景的实际评估口径mAP在论文里是个标准指标但在叶片巡检业务里孤零零看一个mAP很容易被误导。我评估模型是否可用主要看四个口径mAP0.5、mAP0.5:0.95、漏检率、平均每叶片误检数。漏检率的定义是测试集中所有人工标注的真实缺陷框模型没有框出来的比例。这个指标直接反映系统最严重后果——缺陷漏过没人发现后续叶片继续带伤运行。平均每叶片误检数更贴近风场使用者的感受。模型会频繁把正常区域识别成缺陷误检太多会让运维人员失去对系统的信任最后干脆不看告警整个系统的意义就没有了。我们的目标是每片叶子的误检框控制在个位数。为了把评估做扎实测试集构建时特别加入了三个维度的样本晴天强光下拍的、阴天散射光下拍的、雨后叶片表面有水滴反光时拍的。叶片表面缺陷在某些光照条件下的可见度差异很大如果测试集没有覆盖这些场景真实部署时性能会发生难以预测的下降。4. 无人机端部署推理与叶片缺陷上报联动4.1 机载算力与两阶段推理策略部署环节首先要回答一个问题缺陷检测的推理到底放在哪。无人机机载端实时推理好处是反馈快、不依赖网络坏处是功率和散热限制导致算力有限地面站端远程推理好处是算力充足坏处是依赖图传链路远距离飞行时延迟不稳定。我在项目中采用了机载端轻量推理加地面站复核的双轨策略。无人机搭载的计算单元运行量化后的模型对实时图传画面做快速初筛。一旦机载端出现置信度超过阈值的缺陷框系统自动切换状态、控制无人机悬停并对当前叶片区域做多角度细拍。地面站收到后的处理分成两条线一条是基于悬停细拍图像的高分辨率二次检测核实机载端告警是否成立另一条是把飞行全过程的图像和告警时间戳汇总起来供后续离线分析。选择这样的双轨结构核心原因是机载端在做初筛而这种场景下的检测任务本身就是一连串权衡——精度和速度不可能同时拉满。机载端用较大阈值过滤掉大部分模糊的低置信度检测框地面站用高分辨率模型确认剩下的候选框精度和速度都有了。4.2 图像预处理、切片与检测结果的后处理机载端图像预处理的细节同样决定检测效果。自动曝光在无人机拍摄时经常把叶片表面拍得过亮或过暗引入自适应直方图均衡可以改善细节对比度对缺陷特征提取有可见帮助。整条预处理链路是原始帧转灰度判断曝光状态适度调整亮度对比度再送入推理模块。部署时采用的推理框架需要做精度和速度的权衡。INT8量化在边缘设备上几乎是必须操作但量化后细裂纹这种低纹理目标的首选框质量会有轻微退化。我的处理办法不是放弃量化而是用验证集量化校准一遍专门检查量化前后缺陷类别的AP变化如果某类掉点超过2个百分点就把那部分卷积层保留float16精度做混合量化。小目标检测的杀手锏是切片推理。一个典型的场景叶片前端区域可能在画面里只呈现一条窄带直接整图送模型裂纹只有十几个像素宽模型难以可靠识别。切片推理的逻辑是把原始高分辨率图切成固定大小的块每个块单独过模型检测到目标后再把坐标映射回原图。切片的四边带40%重叠确保跨切片的目标不会被切成两段导致漏检。这种方法可以把小目标的有效像素放大四倍以上缺陷召回率提升非常明显。切片推理代码思路大致如下def detect_with_slices(img, slice_size640, overlap0.4): h, w img.shape[:2] step int(slice_size * (1 - overlap)) all_detections [] for y in range(0, h - slice_size 1, step): for x in range(0, w - slice_size 1, step): slice_img img[y:yslice_size, x:xslice_size] dets model(slice_img) for box, score, cls in dets: # 坐标映射回原图 box [box[0] x, box[1] y, box[2] x, box[3] y] all_detections.append([box, score, cls]) return nms(all_detections)注意切片后NMS要把所有切片的结果汇总在一起做一次全局NMS否则同一个缺陷在重叠区域会被重复检测走两遍。4.3 缺陷即时采集与地面工单生成检测到缺陷后最怕的是只保存了一个检测框后续人工复核时看不到框里的实际图像细节。所以我们的流程里规定触发告警后无人机自动绕当前缺陷点拍摄三张不同角度的图像包括一张正对表面的特写、一张斜45度视角的整体图、一张包含叶片边缘的定位图。这三张图在后面生成工单时非常有用。地面站生成的工单结构大概是这样的缺陷编号、风机编号、叶片编号A/B/C、展向位置叶根到叶尖的百分比、缺陷类别、置信度、三张现场图片、拍到的GPS坐标和风向信息。展向位置的估算方式比较粗暴但有效把叶片在画面中的位置结合无人机当前航点的叶片展向百分比反推。精度虽然不如激光测距准确但对运维排修已经足够。工单直接推到运维系统后人工只需要做一件事——看图确认缺陷是否成立。这一步虽然还是人工但工作量大为缩减而且确认行为的反馈又可以回流到标注集形成在线的持续学习闭环。5. 实际运行里的高发误检漏检场景及调优手段5.1 逆光高亮、塔筒阴影与背景干扰真实运行一段时间后我发现最麻烦的干扰因素反而不是叶片表面的复杂纹理而是环境光照与背景物体。逆光拍摄时叶片表面会出现大面积镜面反射尤其是带漆面光泽的表面高光区域在图像里呈现一条条亮带纹理特征跟鼓包、剥落非常接近导致模型把高光反射误判成缺陷。这类误检的调优路径我应该记下来先从采集侧规避飞行计划要求尽量选择叶片迎光面和背光面分别飞避免正对太阳方向拍摄再从模型侧处理数据增强里大量加入高光模拟把图像亮度区间整体拉高、局部过曝让模型学到高光区域的“非缺陷”特征。经过两个epoch的针对性训练逆光误检率明显下降。塔筒和机舱作为背景物体也会经常被误检——特别是叶片旋至塔筒后方时画面前景是叶片背景是塔筒的弧形表面塔筒表面的焊缝、漆面线条容易被框成缺陷。处理办法是引入一个叶片位置先验检测框如果落在风轮平面区域之外直接抑制掉。5.2 细长裂纹漏检切片检测的收益与实现细长裂纹是整个项目中最难处理的类别。裂纹可能只有两三个像素宽几十个像素长在高分辨率下肉眼能看到但一旦缩图特征就溶进叶片纹理里了。这里切片检测的收益非常明显把算法实际对比数据记录一下整图检测在1280输入下细裂纹召回率不到六成切片检测后能提升到八成以上。代价是计算量成倍增加所以这个模式只在悬停细拍阶段使用巡航扫描阶段继续用整图快速检测。切片尺寸的选择也需要试验。640的切片在1280原图上等于把每个区域放大两倍视野对细裂纹足够如果切片设到320放大倍数更高但计算量上升明显而且切片边缘会把长条形裂纹拦腰截断反而增加漏检。最终选择了640加40%重叠的组合这是精度和效率比较平衡的位置。5.3 推理稳定性与量化误差的控制部署后遇到过的实际问题是帧率不稳定和检测结果跳变。帧率不稳定的主要原因是在高空强光环境下自动曝光一直在波动导致输入图像的统计特征频繁变化边缘设备推断时间也跟着波动。解决办法是把曝光优先固定为手动曝光模式只在昼夜转换时通过地面站手动调整曝光参数。检测结果跳变的表现是同一缺陷在前后几帧里时而检出、时而消失。这类问题的本质是目标太靠近置信度阈值。我们针对输出层做了时序平滑连续三帧中至少两帧检测到同一位置缺陷才确认告警单帧命中不触发。这个机制虽然会增加约一秒钟的确认延迟但对减少误报和提升运维信任度非常值。另一个容易踩的坑是在无人机盘旋时同一缺陷随视角变化形状差异很大如果不做时序判断一个缺陷可能被上报多次。解决思路是记录缺陷框的中心位置在设定的空间距离范围内只保留一条工单重复检测时只更新现场图片不创建新工单。6. 从“检测出缺陷”到“辅助运维决策”的扩展方向6.1 缺陷在叶片表面的几何定位检测框本身只是图像坐标运维人员真正关心的是缺陷在叶片哪个位置。我们通过无人机飞行时的姿态、相机云台角度和当前航点对应的叶片展向位置把检测框中心换算成展向百分比和距离前缘/后缘的相对位置。换算精度大约在几十厘米量级对维修排程来说已经足够。这个换算的关键在于标定整条链路相机内参、云台外参、机体到云台的固定偏移都要做一次标定不然误差会随着飞行距离快速放大。我建议每次换装新云台或相机后先在地面拍摄一块已知尺寸的黑白棋盘标定板用标定结果更新标定参数再开始正式巡检。6.2 跨周期巡检对比与损伤演化评估单次巡检能发现缺陷但判断缺陷是稳定保持还是加速扩展需要跨周期对比。我们为每个缺陷建立了独立档案记录历次巡检的缺陷框大小、置信度、图片缩略图。二次巡检时用上次缺陷框的位置做局部搜索得到新的缺陷框比较两者的面积变化。如果两次间隔期内缺陷面积扩大超过30%系统将风险等级上调提示优先安排维修。裂纹类缺陷还要额外关注扩展速率因为胶衣裂纹可能在数个月内就从表面纹路扩展成结构性损伤早期预警的价值很高。这个功能并不复杂但能明显提升整套系统在运维流程中的实际话语权。6.3 与其他数据的融合空间叶片缺陷检测在多数风场都不是孤立存在周围其实有一圈可以融合的数据。风机运行数据里叶片结冰告警、振动监测数据异常往往与叶片表面缺陷存在相关性。缺陷检测发现某支叶片前缘严重腐蚀原因可能追溯到该区域的局部风速风俗和泥沙撞击这又跟风机朝向、地形有关。把这些数据放在同一张地图上看可以反过来指导风场调整风机运行策略延长叶片寿命。另外当巡检采样率足够高时可以用前后两次检测框的中心偏移来辅助估算无人机的定位漂移反向修正飞行航线的平滑度减少重复采集成本。这类数据融合工作属于“第二层价值”在核心检测跑通之后再逐步做效果比一上来就铺开好得多。最后再分享一个贯穿始终的经验叶片缺陷检测模型的真正瓶颈在数据的“真实性问题”。工业现场的图像永远不会像公开数据集那样整洁而你每在真实环境里多飞一次、多积累一批有干扰的样本模型的落地效果就会上一个台阶。最开始跑通demo可能要不了几天但把它打磨成一个运维人员敢依赖的系统靠的还是大量实地飞行的积累和对每一个误检案例的复盘。