做工业视觉这些年我越来越觉得光学镜片缺陷检测是所有质检场景里最磨人的一类。透明材质、高反光、缺陷又小又淡有些划痕浅到人眼盯着看半天都拿不准可良率考核就卡在那几个百分点上。最近在整理一套镜片缺陷检测数据集的持续迭代项目正好是第10533期版本借这个机会把从数据采集、标注体系、模型训练到现场落地的一整条链路拆开聊聊。这套内容不只是给算法工程师看的做产线导入、质量管控、视觉方案设计的朋友应该也能找到有用的东西。1. 需求拆解为什么镜片检测在工业视觉里是个硬骨头1.1 材质特性决定了成像难度光学镜片和金属件、塑料件最大的区别在于它是透光的而且表面往往有镀膜。这两个特性直接把传统打光方案的路堵死了一半。金属表面用环形光一打划痕折痕清清楚楚塑料件用背光一照轮廓缺陷瞬间现形。但镜片是透明的正面打光会直接穿透背面打光连镜片边缘都不一定能勾勒出来更麻烦的是镀膜层会产生干涉条纹和反光这些伪影在图像上跟真实缺陷长得非常像。我见过不少新入行的工程师第一次拿到镜片样品就按常规思路打光结果拍出来的图全是光斑和反射重影别说检测了人眼都分不清哪道是划痕哪道是光源反射。这一行有个铁律检测算法做得再牛成像方案不行全白搭。镜片检测的成像方案明场、暗场、同轴光、背光、低角度环形光各有适用场景而且往往需要组合使用单一种光源搞不定所有缺陷类型。1.2 缺陷类型多样且形态差异极大镜片缺陷不是只有一种“划痕”这么简单。按来源分有成型过程带来的气泡、麻点、缺角有加工过程带来的划痕、崩边、毛刺有镀膜过程带来的膜层脱落、色斑、脏污还有搬运过程带来的灰尘附着和手印。这些缺陷在图像上的表现完全不同划痕线状、方向随机、深浅不一浅划痕对比度极低毛刺边缘突起多出现在镜片外圆或倒角处体积小但形状不规则气泡圆形或椭圆形内部透光边缘有明暗变化麻点点状细小缺陷可能成群出现崩边边缘块状缺失轮廓突变明显这几类缺陷在成像特征上重叠度很低分类网络比较容易区分但当它们混合出现在同一片镜片上的时候检测系统的输出就变得复杂。尤其是毛刺和崩边位置都在边缘有时候肉眼看上去就是“边缘缺了一块”区分到底是加工毛刺还是崩边需要对边缘轮廓做精细分析这对标注粒度和模型设计都提出了要求。1.3 工业现场的检测标准比想象中苛刻实验室里跑模型大家习惯看mAP、F1-Score这些指标但到了产线上甲方问的第一句话永远是“过杀率多少、漏检率多少”。这两个指标的含义完全不同于学术指标过杀率指的是把良品判成不良品的比例过杀高了产线良率报表不好看质检员还得逐片复判漏检率指的是把不良品放过去的比例这个一旦出事就是客户投诉甚至退货。两者是此消彼长的关系调模型本质上就是在它们之间找平衡点。镜片行业的现场标准往往还带分级。比如划痕分A、B、C级A级轻微可接受B级需要复判C级直接报废。这意味着检测系统不只是输出“有缺陷”或“无缺陷”还要输出缺陷类别和位置让后段分选设备能按等级处理。这也是为什么光做分类不够必须做定位——你要告诉工厂这片镜片的缺陷在哪、属于什么类型、严重到什么程度。只有把这些问题回答清楚系统才能对接分选机械臂和产线MES系统。2. 数据集设计决定检测上限的从来不是模型而是数据2.1 采集方案光源、相机与打光角度怎么定镜片缺陷数据集的质量七成由采集端决定三成由标注决定。很多团队习惯拿现成数据集做实验但在工业场景下真正的项目都是要自己搭采集环境、自己拍图的。我在做第10533期数据集迭代时采集端的配置是这样的基于常见工业实践的合理方案相机工业面阵相机分辨率500万到1200万像素黑白模式就够了彩色信息对镜片缺陷区分度很低光源组合式LED光源包含同轴光、低角度环形光、背光板三路分别对应不同缺陷类型的拍摄打光方式多光源分时采集即同一片镜片分别用不同光路拍多张图缺陷特征在各图中互补为什么用多光源分时而不是单光源因为单一光源永远有盲区。同轴光对浅划痕敏感但会放大镀膜反射低角度环形光能清晰呈现边缘毛刺和崩边但对麻点不敏感背光能暴露气泡和内部杂质却对表面划痕毫无办法。多光源分时拍摄虽然增加数据量但换来的是每个样本都能看到完整缺陷特征训练出的模型更稳定。拍摄角度也有讲究。镜片是球面的中心区域和边缘区域对光线的反射方向不同同一道划痕在镜片中心和边缘呈现的对比度完全不一样。如果只拍正视角模型很容易学成“只认镜头中心划痕”的偏科生。实操中可以把镜片旋转到几个固定角度各拍一遍或者用旋转平台以固定步长连续拍摄让缺陷在各种曲率位置均匀出现。2.2 标注体系分类与定位需要什么样的标注粒度标注是数据集构建里最耗时也最容易出问题的一环。镜片缺陷检测涉及分类与定位两个任务标注需要同时满足这两点。类别体系设计是优先级最高的事情。参考工业镜片检验规范我一般把缺陷分成以下几类划痕、毛刺、气泡、麻点、崩边、脏污、镀膜异常。这里有一个容易踩的坑类别不要分得太细也不要太粗。分得太细比如把划痕再按长度细分为短划痕、中划痕、长划痕会大幅增加标注难度和类别不平衡程度分得太粗把气泡和麻点归成同一类现场无法按等级处理。建议先按表观形态分成7到10类后续根据良率报表反馈再细调。标注格式上目标检测任务建议用矩形框加类别标签如果后续要精确计算缺陷面积占比则考虑实例分割标注。镜片缺陷多数近似圆形或细长线形矩形框的浪费率可以接受但毛刺这类紧贴边缘的缺陷用矩形框会把大量背景框进来训练时容易学偏建议这类缺陷用多边形标注或者掩膜标注让模型关注真正的缺陷区域。另外一个常被忽略的问题是标注边界定义。同一道划痕在强光下和弱光下可见长度不同标注员之间的主观判断差异会很大。我的做法是编写一页纸的标注规范附上每个类别的“判例图”比如“长度小于0.5mm且对比度极低的线状痕迹不标”“镜片本身设计花纹不作为缺陷标注”。给标注团队做完标定后定期抽检标注结果计算标注员之间的一致性低于阈值的样本重新标注。这个环节偷懒的话数据集看着数量不少实际有效信息密度很低。2.3 样本配比良品样本和困难样本同样重要很多第一次做工业数据集的人有个误区一门心思收集缺陷样本忽略了良品样本。实际训练中良品样本即无缺陷样本起着至关重要的作用。因为检测系统在建好之后要面对的是大量良品、少量缺陷的真实场景模型如果只见过缺陷良品上稍微有点灰尘反光就会误判过杀率直接崩盘。第10533期数据集里我把良品和缺陷的比例控制在5:1左右并且良品样本也要覆盖多种打光条件和多种摆放角度。这样一来模型能学到“无缺陷的正常纹理”而不是把所有非典型图像都当成缺陷。困难样本挖掘也要纳入数据迭代流程。第一版模型训练完后拿产线新拍的图像做推理把误检和漏检样本提取出来人工确认后回流到数据集中参与下一轮训练。这种策略比一次性堆数据高效得多因为工业现场的缺陷形态会随批次、工艺参数、机台状态慢慢漂移数据集必须跟着产线一起迭代这就是“第10533期”这种持续版本号的由来——不是做一次就完事而是一期一期滚出来的。数据集的目录结构建议按规范组织便于后续扩展和版本管理dataset/ ├── images/ │ ├── train/ # 训练集图像 │ └── val/ # 验证集图像 ├── annotations/ │ ├── train/ # 对应的标注文件JSON/YOLO格式 │ └── val/ ├── class_names.txt # 类别列表 └── readme.md # 数据集说明、标注规范、变更记录标注文件与图像一一对应命名一致这个看似琐碎的细节能在调试时省下大量时间。3. 模型方案选型分类与定位该怎么做先想清楚再动手3.1 传统视觉方法还有没有用讨论深度学习之前先给传统视觉方法一个明确的定位。基于阈值分割、边缘检测、形态学处理的方法在镜片缺陷检测里并没有完全退出历史舞台。对一些形态规整、对比度高的缺陷比如大块崩边、明显毛刺、大直径气泡基于轮廓分析和几何判据的传统算法计算速度快、无需标注数据、可解释性强甚至在产线早期验证阶段比深度学习更容易说服甲方。传统方法做不了的是低对比度浅划痕和形态不规则的细微信号。划痕在图像上只有几个灰阶的差异阈值分割连目标和背景都分不干净形态学开闭运算很容易把真实划痕一起滤掉。这时候必须上深度学习靠卷积网络在像素层面提取特征把弱信号从背景里捞出来。我给项目定方案的思路是传统算法跑得通的坚决不上深度学习传统算法不行的再用深度学习方法补漏。两者不是谁替代谁的关系而是协同关系。做一个混合方案先传统后深度或者并行双通道既能控制成本也能保证效果。3.2 分类与定位的架构选择镜片缺陷检测同时需要分类和定位架构上有两条路一条是端到端检测网络一条是“分类加检测”两阶段串联。端到端目标检测网络主流选择包括YOLO系列实时性好工程化程度高、Faster R-CNN系列精度下限高速度相对慢、FCOS无锚框训练调参相对省心等。实际项目中YOLO的近几代版本在速度和精度平衡上表现很好加上部署生态成熟多数情况下是首选。镜片缺陷尺寸偏小原图直接喂给检测网络时小目标特征容易在多次下采样中丢失我做了层Tiling切图策略——把高分辨率原图切成多个小块分别送入网络推理再合并结果。切图会带来速度下降但许多缺陷确实只有几十个像素大小不切图根本检测不到。两阶段串联的思路也有适用场景当缺陷类别多、误判代价高时先跑一个轻量分类网络判断镜片“疑似正常”或“疑似异常”异常图再接一个检测网络做定位和细分类。好处是检测网络只需处理异常图可以放心用高分辨率输入和大模型不担心速度坏处是分类阶段一旦漏判后面检测阶段完全没有补救机会。分类网络必须把阈值压得足够低宁可将更多良品送进检测网络也不能放跑异常图。两种架构的选择不是绝对的。如果产线节奏快、硬件资源有限用单阶段检测网络更合适如果精度要求极高、过杀率可以放宽两阶段串联上限更高。我的建议是先用代表性样本跑一版最小实验两种方案各出一个结果对比再决策不要凭感觉拍板。3.3 分类与定位的难点在缺陷尺寸和背景干扰镜片缺陷检测里模型分类容易出错的地方往往不是缺陷本身长得像而是背景干扰把特征盖住了。镀膜反射造成的高亮区域、光源不均匀导致的阴影渐变、镜片边缘的衍射纹理这些背景信息在图像上和缺陷的响应模式高度相似。模型如果上下文感知能力不足很容易把高亮反射当成划痕把边缘暗影当成崩边。应对这个问题的思路包括在训练阶段加入随机光照扰动增强模拟不同光源强度和角度的差异使用背景抑制预处理通过频域滤波或顶帽变换压低低频背景分量突出局部异常在损失层面给困难样本更高权重让模型重点学习易混淆区域的特征差异第10533期数据集的训练迭代过程中遇到过一个典型现象模型在验证集上mAP到了0.92但到了产线实测过杀率高到20%以上。排查后确认产线环境和实验室采集数据的光照条件不同许多正常镜片的镀膜反光在模型看来跟训练集中的划痕高度相似。重新采集产线环境数据扩充训练集后过杀率才压到5%以下。这个教训说明训练集和部署环境之间的域差异是工业视觉模型最主要的误差来源之一。4. 实操过程从数据预处理到模型训练调优的完整流程4.1 数据预处理与增强策略拿到标注好的镜片缺陷数据之后直接进训练流程会浪费数据价值预处理和增强做得好同等数据量下精度能明显提升。预处理我比较常用的步骤是图像归一化统一灰度范围缺陷区域直方图均衡化增强局部对比度背景估计与减除对同轴光图像尤其有效第2步和第3步要小心直方图均衡化做过头会放大噪声背景减除做过头会连带抹掉真实缺陷。经验值是在增强效果和保持原始信号之间取平衡宁可少增强一点也不要损伤缺陷特征。数据增强策略上镜片图像跟自然图像有区别常规的随机裁剪、水平翻转、颜色抖动都能用但有两点要特别注意光学仿真增强用程序生成不同光照角度下的缺陷合成图扩展模型对打光变化的适应能力拼图增强把不同缺陷区域拼到同一张良品图上模拟多种缺陷共存的场景这些增强手段要适度增强过度会让模型学到不真实的纹理细节泛化能力反而下降。4.2 训练参数与评价指标怎么设训练过程里最需要盯紧的不是Loss曲线而是过杀率和漏检率在验证集上的变化。我通常用这样的配置做基线基于常见工业实践的合理参数输入尺寸在原硬件允许范围内尽量大镜片缺陷太小人尺寸跑不动Batch size取8到16学习率从1e-4起步用余弦退火调度数据增强开启随机亮度扰动和随机光源角度扰动训练轮次设100轮左右早停策略卡验证集损失评价指标要分两层看。模型层面的指标看mAP和RecallIoU0.5这个能快速对比不同方案工程层面的指标必须看混淆矩阵里良品被误判成缺陷的比例以及各类缺陷之间的互相混淆情况。举例来说划痕被误判成脏污在模型评估中只是类间混淆看起来mAP下降不多但在现场意味着复判逻辑完全不同会让后段设备做出错误分选决策。经验上镜片缺陷检测项目的验收标准通常设定为漏检率低于0.5%过杀率低于5%。这个数字听起来不玄乎真正做到需要反复调阈值和做数据迭代。单模型很难同时把两个指标压到合格线工程上一般会设置两道校验第一道检测网络筛出疑似缺陷第二道经过确认网络对疑似缺陷复核。确认网络的输入是检测网络裁剪出来的局部图像块由于不需要在全图上扫输入分辨率可以拉高几倍对细纹理特征的判别力更强。4.3 部署与推理速度优化产线节奏不等人实验室里模型跑得动上了产线跑不动是常遇到的问题。产线节拍通常按秒算一片镜片从进入检测工位到出结果留给你算法的时间往往只有几百毫秒。推理速度优化是落地题中必然要做的一环。几个实用手段模型导出为推理引擎格式开启半精度推理速度通常能提升一到两倍图像预处理的光学矫正和归一化操作移到GPU上做减少CPU到GPU的拷贝开销切图策略改为动态切图只有检出疑似异常时才切第二级细图复查异常率低时只跑一级粗筛缺陷极少出现的类别单独走小模型快速判断不拖累主模型推理部署时还要考虑产线环境稳定性。工业现场的光照、温度、振动都会影响成像质量相机每次拍了多少帧、图像有没有丢帧、镜片有无位移这些因素有时比模型本身更能左右检测效果。所以在软件架构里预留了成像质量自检模块对每帧图像的亮度分布、模糊度做实时评估发现成像异常立即报警避免把坏图喂给模型产生错误判断。5. 踩坑实录与排查指南这些问题不提前知道会掉坑里5.1 整理出的常见问题速查表我在多个镜片检测项目的沟通过程中总结过一张典型问题与排查方向对照表这里直接放出来供参考问题现象可能原因排查与解决方向过杀率高良品大量被判为缺陷部署环境光照与训练集差异大重新采集部署环境图像扩充训练集浅划痕检测不到目标过小或对比度极低提高输入分辨率或开启多尺度切图毛刺与崩边互相混淆标注边界不清晰或类别定义重叠统一标注规范重新筛标注数据镀膜反光引起的误检背景干扰过强增加反光样本使用背景抑制预处理不同批次检测效果波动大产品基材或镀膜工艺变化建立批次级数据回流机制推理延迟高跟不上节拍模型过大或切图策略低效开启半精度推理、优化切图逻辑同一镜片两次检测结果不一致成像系统稳定性不足检查光源驱动、相机模式和震动干扰这七类问题基本覆盖了我遇到过的绝大部分情况。它们的共性都指向同一个根源模型和数据之间的适配闭环没有跑通。检测模型绝不像是训练完就固定下来的东西而应该随产线数据和现场反馈持续调整。5.2 一个印象深刻的误检排查过程有一次现场反馈过杀率突然飙升前一天还只有4%第二天变成了15%。去现场排查后发现并不是算法出了问题而是夜班工人把产线光源的亮度调高了。因为临近换班、人眼疲劳工人觉得图像“不够亮”就把光源电流调大了。结果镜片边缘的衍射纹理在高光下被放大模型把衍射纹理误判成毛刺。这件事让我养成了一个习惯给产线设备的参数加锁定权限光源亮度、相机增益、曝光时间这些影响成像的关键参数不允许现场随意修改。即使要调也必须走变更流程记录参数修改前后的采样图像。工业检测系统的稳定不仅仅靠算法更靠整套成像环境的管控。这也是我在所有项目交付文档里都会强调的一章成像环境和设备参数管理规范。5.3 模型迭代与数据版本管理的经验数据集是持续迭代的代码、模型、标注文件都需要版本管理。最初我们只用文件夹归档模型来回改几次之后对不上哪个权重对应哪版数据排查问题非常痛苦。后来参照软件工程习惯每次数据更新都记录变更摘要在标注文件、训练配置、模型权重三者的版本号上建立对应关系回滚和对比就顺畅多了。具体做法每次新增数据或调整标注递增数据集版本号训练时记录数据版本、代码版本、训练参数到训练日志头部模型推理时在日志中回写所用权重文件的哈希值用这套机制之后即使过了几个月要回看某个检测异常是哪一版数据导致的也能快速定位到具体版本和对应代码逻辑。数据版本管理看似不是核心算法问题但对项目长期迭代来说价值不亚于调一套好模型。6. 这套数据集方案还能怎么扩展镜片缺陷检测的数据集构建方法完全可以迁移到其他透明或半透明材质质检场景。手机摄像头镜片、车载镜头、光学滤光片、甚至一些精密塑料透明件的缺陷检测在成像困难和缺陷形态上高度类似。做完镜片项目后再去接类似场景前期的数据采集方案和标注体系都能复用大半。数据集的后续扩展方向我认为比较有价值的是这两个一是引入合成数据生成技术用仿真引擎生成更多极端罕见的缺陷形态补充真实数据的覆盖盲区二是引入自监督预训练在大量无标注镜片图像上做对比学习再用少量标注数据微调能在标注预算有限时显著提升模型性能。这两条路我正在逐步尝试等有一定成果后再单独展开聊。做这套检测数据集和配套模型我最大的体感是算法模型在工业项目里的作用其实只占三成剩下七成在数据质量和系统集成。谁把数据采集、标注规范、版本迭代和现场成像管理做扎实了谁就能在同样的模型结构下取得明显更好的检测效果。镜片缺陷检测如此其他工业视觉场景也大多如此。