1. 工业缺陷检测为什么难从产线现实说起1.1 缺陷样本稀缺是常态不是例外做过工业质检项目的人都有一个共同体会正常样本堆积如山缺陷样本屈指可数。一条SMT贴片产线一天跑几万片板子可能只挑出几十片有虚焊、立碑、偏移的次品一个冲压车间一个月下来划痕、凹坑、毛刺的样本加起来可能不到两百张。这不是数据采集不努力而是良率本身就高——良率越高缺陷越少这是制造业的天然矛盾。所以工业缺陷检测的核心矛盾从来不是模型够不够大而是在极小样本条件下如何把漏检率压到产线能接受的水平。很多团队拿着COCO预训练的YOLO直接微调结果验证集mAP看着还行一上产线就疯狂漏检原因就在这——验证集和真实产线的缺陷分布根本不是一回事。这篇文章我想把整套流程拆开讲从数据采集策略、小样本增强、模型选型与损失函数调整到漏检控制的阈值策略和上线后的持续迭代。适合正在做工业视觉落地、被小样本和漏检折磨过的工程师也适合刚接触YOLO系列想往工业方向走的朋友。1.2 漏检的代价远高于误检先明确一个工程判断在工业场景里漏检把缺陷判成良品和误检把良品判成缺陷的代价完全不对称。误检的后果是多了几个复检工位、多扔几片料成本可控漏检的后果是缺陷品流到下游甚至客户手里轻则整批退货重则质量事故。这个不对称性直接决定了后面所有的技术选择损失函数要加权、置信度阈值要压低、后处理要保守、评估指标要看Recall而不是只看mAP。我见过太多项目栽在指标好看但漏检高上本质就是没有把业务代价翻译成技术目标。提示项目启动第一件事不是选模型而是和产线质量部门确认可接受的漏检率上限和可接受的误检率上限这两个数字才是你后面所有调参的锚点。2. 小样本训练的整体思路拆解2.1 三条技术路线怎么选面对小样本业界大致有三条路我按适用场景排一下路线核心做法适用场景数据需求落地难度迁移学习强增强COCO/ImageNet预训练权重微调配合Mosaic、MixUp等缺陷形态相对固定、有几十到几百张标注50~500张低异常检测无监督只学正常样本分布偏离即异常缺陷形态多变、无法穷举、正常样本充足0张缺陷中合成数据半监督生成缺陷/伪标签自训练缺陷可仿真、标注成本极高少量大量无标注高我的经验是如果缺陷形态能枚举清楚比如固定几种划痕、脏污、缺件优先走迁移学习路线YOLO系列是最稳的选择如果缺陷是说不清道不明的随机异常比如织物、纹理表面的随机瑕疵异常检测算法更合适。两条路不是互斥的很多项目最后是YOLO负责已知缺陷、异常检测兜底未知缺陷。2.2 为什么优先选YOLO而不是两阶段检测器在工业产线上节拍就是生命。Faster R-CNN这类两阶段检测器精度可能略高但推理速度往往只有YOLO的一半甚至更低。一条产线如果要求30FPS以上两阶段基本没戏。YOLO从v5到v8、v11单阶段架构在工业缺陷这种目标小、类别少、背景相对固定的场景里性价比是最高的。另外YOLO的生态成熟度是实打实的优势导出ONNX、TensorRT加速、各种部署脚本一应俱全工程落地成本低。你不需要为了几个点的精度去啃一个冷门框架的部署坑。2.3 小样本下最该做的三件事很多人一上来就想着改网络结构、加注意力模块我觉得这是本末倒置。小样本场景下数据侧的收益远大于模型侧。我通常按这个优先级来数据增强做到极致Mosaic、MixUp、随机仿射、色彩抖动、Cutout把几百张样本撑出上万张的多样性。预训练权重选对用大规模数据集预训练的权重而不是从零训练。工业缺陷和自然图像有域差异但底层特征边缘、纹理是通用的。损失函数针对漏检调权这是最容易被忽略、但对漏检控制最直接的一环后面单独讲。3. 数据采集与增强的实操细节3.1 采集阶段就要为小样本做准备采集不是把相机架上去录一天这么简单。我踩过的坑是录了一堆正常样本缺陷样本还是那几十张而且高度相似。正确的做法是主动制造多样性多光照条件同一缺陷在不同打光角度下表现完全不同环形光、同轴光、条形光各采一遍。多姿态工件在传送带上的位置、角度是随机的采集时要覆盖这些变化。多批次不同批次的原材料、不同模具的磨损状态缺陷形态会有细微差异尽量跨批次采集。负样本也要采容易和缺陷混淆的正常特征比如正常纹理、反光点要专门采集这些是降低误检的关键。注意缺陷样本的标注一定要让懂工艺的人参与。我见过标注员把正常的水痕标成缺陷模型学完之后在产线上疯狂误报返工成本极高。3.2 增强策略的参数怎么定YOLO自带的增强里Mosaic和MixUp对小样本帮助最大但参数不能照搬默认值。我的经验配置# 数据增强关键参数以YOLOv8为例 mosaic: 1.0 # 小样本建议开满增加目标组合多样性 mixup: 0.15 # 别开太高工业缺陷语义强混太狠会失真 copy_paste: 0.3 # 缺陷样本少时复制粘贴缺陷到正常图上很有效 degrees: 10.0 # 旋转角度根据工件姿态变化范围定 translate: 0.1 # 平移 scale: 0.5 # 缩放覆盖不同拍摄距离 hsv_h: 0.015 # 色调抖动模拟光照变化 hsv_s: 0.7 # 饱和度 hsv_v: 0.4 # 明度工业场景光照波动大可以适当调高这里有个关键判断工业缺陷的语义比自然图像更硬。一只猫旋转180度还是猫但一个划痕旋转180度可能就不像划痕了。所以旋转、翻转类增强要克制而光照、对比度类增强可以放开。copy_paste对小样本特别有用把缺陷抠出来贴到不同的正常背景上能快速扩充样本。3.3 合成数据的边界在哪合成数据GAN生成、仿真渲染能缓解样本不足但我建议合成数据只用于预训练或增强不要作为主力训练集。原因是合成数据和真实数据之间存在域间隙模型容易学到合成数据的伪特征。我一般的做法是合成数据先训一个基础模型再用真实小样本微调这样既利用了合成数据的量又保证了真实域的适配。4. 模型选型与损失函数调优4.1 YOLO版本怎么选现在主流是YOLOv8和YOLOv11v5依然有大量存量项目。我的选型建议追求稳定和生态YOLOv8文档全、部署方案多、社区活跃。追求精度和速度平衡YOLOv11在同等参数量下精度有提升。老项目维护YOLOv5别轻易换迁移成本不划算。模型尺寸上工业缺陷检测我通常从s或m起步。nano太小小目标缺陷容易丢l和x在小样本下容易过拟合而且推理慢。具体选哪个用你的验证集实测别拍脑袋。4.2 损失函数里藏着的漏检控制开关这是全文我最想强调的部分。YOLO的损失一般由三部分组成分类损失、定位损失CIoU等、置信度损失BCE。漏检高往往是因为正样本的损失权重不够模型倾向于把模糊目标判成背景。几个可操作的调整方向第一分类损失的类别权重。如果缺陷类别样本远少于正常类别给缺陷类加权。YOLOv8里可以通过调整数据集采样或自定义损失实现。第二正负样本分配策略。YOLOv8用的TaskAlignedAssigner对小目标不太友好。如果缺陷都是小目标可以考虑调低topk或调整对齐度量让更多小目标被分配为正样本。第三置信度损失的调节。漏检的本质是模型对真实缺陷的置信度打得太低。可以在损失里对正样本的置信度误差加大惩罚逼模型提高对缺陷的响应。# 概念示意给正样本置信度损失加权需在自定义损失中实现 # 假设 pred_conf 是预测置信度target 是标签 pos_weight 2.0 # 正样本权重根据漏检情况调 bce nn.BCEWithLogitsLoss(pos_weighttorch.tensor([pos_weight])) conf_loss bce(pred_conf, target)提示加权是把双刃剑正样本权重调太高会导致误检飙升。建议每次只调一个参数在验证集上同时看Recall和Precision的曲线找平衡点。4.3 小目标缺陷的专门处理工业缺陷很多是小目标——一个针尖大的虚焊、一条细如发丝的划痕。YOLO的P3特征图stride 8对小目标已经比较吃力如果缺陷更小要考虑提高输入分辨率从640提到960甚至1280小目标像素数翻倍检测率明显提升代价是推理变慢。加P2检测头stride 4的特征图专门抓小目标但计算量增加。切片推理SAHI把大图切成小块分别检测再合并适合超大分辨率图像里的小缺陷。我实测下来提高分辨率切片推理的组合对小目标缺陷提升最明显加P2检测头性价比一般除非缺陷真的极小。5. 漏检控制的全流程策略5.1 从评估指标开始就盯住漏检很多人评估只看mAP这是漏检失控的根源。mAP是Precision和Recall的综合一个高Precision低Recall的模型mAP可能也不难看但漏检一堆。工业场景必须单独盯Recall尤其是缺陷类的Recall。我通常建一个评估表按缺陷类型分别统计缺陷类型样本数RecallPrecision漏检数误检数虚焊450.9780.91214划痕380.9210.87635缺件221.0000.95701这样一眼就能看出哪类缺陷漏检高针对性处理。整体mAP会掩盖单类问题。5.2 置信度阈值漏检控制的第一道闸推理时的置信度阈值直接决定漏检和误检的平衡。默认0.25对工业场景往往偏高会把一些低置信度的真实缺陷滤掉。我的做法是在验证集上画出不同阈值下的Recall-Precision曲线。找到Recall达到目标比如0.99时的最高阈值。如果这个阈值下误检太多再考虑用后处理或二级分类来压误检而不是简单提高阈值。注意阈值不是一次定死的。产线换批次、换光照后分布会漂移阈值要定期复核。5.3 多模型融合与异常检测兜底单一YOLO模型很难覆盖所有缺陷。我的常用架构是YOLO负责已知缺陷 异常检测负责未知异常YOLO检测已标注的几类缺陷Recall拉满。异常检测算法如基于特征重建、基于嵌入距离的方法学习正常样本分布任何偏离正常分布的区域都报警。两者结果做融合任一报警即判缺陷。这样即使出现训练时没见过的缺陷类型异常检测也能兜住大幅降低未知缺陷漏检的风险。代价是误检会上升需要后处理平衡。5.4 后处理里的漏检补救推理后处理也有文章可做降低NMS的IoU阈值重叠的缺陷框不要合并太狠避免把相邻缺陷吞掉。多尺度测试TTA同一张图用不同尺度推理再融合能捞回一些漏检代价是速度。滑动窗口对超大图重叠切块推理避免边缘缺陷被裁掉。这些手段都会增加计算量要根据产线节拍取舍。我一般先保证Recall再优化速度。6. 部署与持续迭代的实战经验6.1 推理加速与精度不能两全工业部署绕不开TensorRT。YOLO导出ONNX再转TensorRTFP16精度下速度能翻倍精度损失通常很小。但要注意INT8量化要谨慎工业缺陷目标小INT8的量化误差可能让小目标直接消失漏检飙升。除非做过充分的校准否则优先FP16。动态shape vs 静态shape静态shape推理更快但要求输入尺寸固定。如果产线图像尺寸统一用静态shape。batch推理多路相机可以batch一起推理提高GPU利用率但会增加延迟。关于T4上1080p 25帧能跑多少路YOLO这类问题没有标准答案取决于模型尺寸、分辨率、是否TensorRT、FP16还是INT8。我的经验是T4上YOLOv8s、640分辨率、FP16TensorRT单路大概能到100FPS以上理论上能带4路25FPS但要留余量给预处理和后处理实际带3路比较稳。具体数字一定要自己实测。6.2 上线后的数据回流闭环模型上线不是终点。产线上的真实数据是最宝贵的训练资源一定要建回流机制所有被判缺陷的图人工复核后标注对错。所有被判良品但后续发现问题的图漏检案例重点收集。定期用新数据微调模型尤其是漏检案例要加权。我见过做得好的团队每周回流一批数据每月迭代一次模型漏检率能持续下降。反之模型上线后就不管了几个月后分布漂移漏检率悄悄回升。6.3 常见问题速查问题现象可能原因排查方向验证集好产线漏检高域差异、分布漂移检查产线图和训练图的光照、角度差异小目标缺陷漏检分辨率不足、P3特征图不够提高输入分辨率、切片推理某类缺陷漏检特别高该类样本太少、损失权重低补充样本、类别加权误检突然增多阈值过低、环境变化复核阈值、检查光照和背景变化推理速度不达标模型太大、未加速换小模型、TensorRTFP16模型对某批次失效原材料或工艺变化收集新批次数据微调6.4 几个我踩过的坑坑一过度依赖mAP选模型。早期我用mAP选最佳权重结果上线漏检高。后来改成用缺陷类Recall选模型漏检明显改善。坑二增强开太猛。有一次Mosaic和MixUp都开很高模型学得花里胡哨真实缺陷反而认不准。工业场景增强要克制语义保真优先。坑三忽略标注质量。标注边界框松紧不一致模型学到的定位标准就乱小缺陷尤其明显。标注规范要统一最好做标注一致性检查。坑四阈值一劳永逸。定了一次阈值就不管结果换季后光照变了漏检率上升。阈值要跟着数据分布走。坑五只测不监控。上线后没有监控漏检率等客户投诉才发现问题。一定要建线上指标监控Recall、误检率、各类缺陷分布都要盯。7. 异常检测算法的补充视角7.1 什么时候该上异常检测YOLO是监督学习前提是缺陷类型已知且标注充分。但工业现场经常遇到缺陷无法穷举的情况——比如表面瑕疵的形态千变万化你永远不知道下一种长什么样。这时候异常检测算法只学正常样本就是必要的补充。异常检测的核心思想是正常样本的分布是收敛的任何偏离这个分布的都算异常。常见做法有基于重建的自编码器、GAN重建误差大即异常、基于特征的预训练特征提取分布建模如PaDiM、PatchCore、基于流的Normalizing Flow。7.2 异常检测和YOLO怎么配合我的实践是分层第一层YOLO检测已知的、有明确标注的缺陷Recall拉满。第二层异常检测对YOLO判为正常的区域再过一遍异常检测捞未知异常。融合决策两层任一报警即判缺陷最终由人工或二级模型复核。这样既保证了已知缺陷的检出又对未知缺陷有兜底。代价是误检上升所以第二层的阈值要调得保守一些宁可多报也别漏。7.3 异常检测的落地难点异常检测听起来很美落地有几个坑正常样本也要多样只采一种光照、一个批次的正常样本模型会把其他正常变化也当异常。正常样本的多样性比缺陷样本还重要。阈值难定异常分数没有天然的阈值要靠验证集调而验证集里往往没有足够的异常样本。定位精度差异常检测能告诉你这里有异常但边界往往不如YOLO精确对需要精确测量的场景不够用。所以我的建议是异常检测作为兜底不作为主力。主力还是YOLO把已知缺陷做扎实。8. 一套可复现的最小流程把上面的东西串起来给一套可以直接抄作业的流程数据准备采集多光照、多姿态、多批次样本缺陷样本尽量覆盖各种形态正常样本要包含易混淆特征。标注由懂工艺的人复核。增强配置Mosaic开满MixUp适度copy_paste针对缺陷样本光照类增强放开几何类增强克制。模型训练YOLOv8s或v11s起步用预训练权重输入分辨率根据缺陷大小定小缺陷上960或1280。损失调优针对漏检高的类别加权调整正负样本分配正样本置信度损失适度加权。评估按缺陷类型分别统计Recall和Precision用缺陷类Recall选最佳权重。阈值确定在验证集上找Recall达标时的最高阈值误检用后处理压。部署TensorRTFP16静态shapebatch推理实测节拍。兜底异常检测作为第二层捞未知异常。迭代建数据回流闭环定期用新数据微调监控线上漏检率。这套流程我在几个项目里跑下来小样本几百张条件下缺陷类Recall能稳定在0.97以上误检率控制在可接受范围。当然具体数字因场景而异关键是这套思路——数据优先、Recall导向、损失调权、异常兜底、持续迭代。最后分享一个我个人的小习惯每次调参前先固定一个基线只改一个变量记录结果。工业项目最怕的就是一顿操作猛如虎回头不知道哪个改动起了作用。把实验记录做扎实比任何技巧都管用。