1. 网格缺陷检测到底在解决什么问题第一次接触网格类产品的缺陷检测是在一个做精密丝印网版的产线项目上。当时产线主管拿着一块布满细密网格的工件跟我说人工目检一天下来眼睛都快瞎了漏检率还居高不下。那个场景让我意识到网格缺陷检测这个方向看似小众实际上在光伏栅线、显示屏网格、金属滤网、印刷网版、键盘导电膜等大量工业场景里都是刚需。所谓网格缺陷检测核心就是在一张由规则线条交织而成的图像里找出那些不该出现的东西。这些异常可能是断线、线宽突变、节点缺失、异物压线、局部变形、污点遮挡等等。它和普通的表面缺陷检测最大的区别在于网格本身是高度结构化的线条的走向、间距、交点位置都有强规律性。这意味着我们不能简单地用找暗点找亮点的思路去做而要充分利用网格的周期性结构特征。Halcon在这类任务里是一把好手原因很直接它内置了大量频域分析算子、亚像素测量算子、形态学算子还有成熟的模板匹配和网格拟合工具。相比自己用OpenCV从零搭一套Halcon在网格这种规则中找不规则的场景下能省掉大量底层调试时间。当然前提是你得理解它的算子逻辑否则很容易陷入参数调半天、效果还是飘的困境。这篇文章适合谁看如果你正在做网格类产品的视觉检测项目或者手头有周期性纹理的缺陷检测需求又或者你已经在用Halcon但总觉得网格检测这块没吃透那接下来的内容应该能帮你少走一些弯路。我会从网格图像的成像特点讲起一直讲到具体的算子组合、参数计算、踩坑经验尽量把每个为什么这么选都说清楚。2. 网格图像的成像特点与检测难点拆解2.1 网格的周期性结构决定了检测思路网格图像最本质的特征是周期性。假设一个网格的横向间距是20像素纵向间距也是20像素那么整张图在空间上就是一个二维周期信号。这个周期性带来两个直接后果第一正常区域在频域上会表现为规则的峰值点第二任何破坏周期性的局部异常都会在频域或空域上产生可检测的偏差。我在实际项目里最常用的思路就是先建模正常再找偏离正常的部分。具体来说可以用频域滤波提取网格的主频成分重建一张理想网格图然后和原图做差分。差分结果里正常网格区域会接近零而缺陷区域会留下明显残差。这个思路的好处是对光照不均、轻微形变有一定的鲁棒性因为它关注的是结构偏离而不是灰度绝对值。但这里有个坑如果网格本身有轻微的透视畸变或者镜头畸变理想网格重建就会失准差分结果里会出现大量伪缺陷。所以做频域重建之前通常要先做畸变校正或者改用局部自适应的方法。2.2 光照不均与反光是网格检测的头号敌人网格产品很多是金属材质或者表面有镀层反光问题非常普遍。我遇到过一块不锈钢滤网正面打光时中间亮、四周暗边缘还有明显的镜面反射带。这种情况下任何基于全局阈值的分割都会失败。处理光照不均Halcon里常用的手段有几种。一是用illuminate算子做背景估计和校正它通过大核均值滤波估计光照分布然后做除法归一化。二是用emphasize算子增强局部对比度。三是干脆改用同轴光或者低角度环形光从成像端解决问题。我的经验是能靠打光解决的绝不要留给算法。算法补偿光照是有代价的它会同时放大噪声。提示如果产品表面反光严重优先考虑偏振片加低角度暗场照明这比后期用算子硬扛要稳得多。2.3 线宽亚像素变化为什么难检测很多网格缺陷不是线断了这么明显而是线宽发生了微小变化比如从标准的20微米变成了24微米。这种亚像素级别的变化用普通的边缘检测根本测不准。Halcon提供了measure_pos和measure_pairs这类一维测量算子配合卡尺工具可以在垂直于线条的方向上做亚像素精度的边缘定位。具体做法是先通过网格拟合确定每条线的理论位置和方向然后沿垂直方向布置测量卡尺用measure_pairs提取线宽。这个方法的精度可以做到0.1像素级别前提是卡尺的宽度、边缘阈值、过渡类型要设对。我一般会把卡尺宽度设成略大于线宽边缘阈值根据实际对比度调过渡类型选all或positive要看线条是亮线还是暗线。这里有个容易忽略的点测量卡尺的方向必须和线条严格垂直。如果网格有旋转哪怕只转了2度测量结果都会有系统偏差。所以测量前一定要先用smallest_rectangle2或者网格拟合把每条线的角度算准。3. Halcon网格缺陷检测的算子组合与实现路径3.1 从频域切入FFT加滤波重建理想网格频域方法是网格检测里最优雅的一条路。基本流程是对图像做FFT在频谱图上找到网格对应的峰值点用带通滤波器保留这些峰值然后逆FFT得到重建的理想网格图。原图和重建图做差分缺陷就暴露出来了。在Halcon里这条路的算子链大致是fft_image做正变换gen_bandpass或gen_bandpass_filter生成带通滤波器convol_fft做频域卷积fft_image_inv做逆变换。关键难点在于滤波器参数怎么定。网格的主频位置可以通过观察频谱图确定也可以用power_real算功率谱后自动找峰值。我一般会先用fft_image把频谱图转成可视化图像人工看一眼峰值分布确定主频的半径范围。然后带通滤波器的中心频率就设在这个半径上带宽设成主频峰宽的两倍左右。带宽太窄重建的网格会丢失细节带宽太宽又会把缺陷也重建进去导致差分不出来。实测下来这个方法对断线、缺节点这类结构性缺失特别敏感但对线宽渐变、轻微污点就不太灵。所以频域方法通常不是单独用的而是和空域方法配合。3.2 空域方法形态学加差分找局部异常空域方法更直观也更适合处理局部缺陷。核心思路是用形态学操作提取网格的骨架或者背景然后做差分。比如用opening_circle或者opening_rectangle1把网格线条抹掉剩下的就是缺陷和背景。或者反过来用closing把网格的间隙填上再和原图比。这里有个技巧结构元素的大小要略大于网格间距。假设网格间距是20像素那结构元素直径设成25到30像素比较合适。太小了抹不掉网格太大了会把大缺陷也一起抹掉。我通常会做一组不同尺寸的结构元素看哪个尺寸下差分结果的缺陷最干净。另一个空域思路是用dyn_threshold做局部动态阈值。它用一个参考图通常是原图的大核均值滤波结果和原图比较在局部范围内找灰度突变。这个方法对光照不均的适应性比全局阈值好很多参数主要是Offset和参考图的滤波核大小。Offset一般设5到15滤波核大小要大于网格间距。3.3 网格拟合加测量针对线宽和节点的高精度检测如果缺陷类型主要是线宽异常、节点偏移、断线那网格拟合加测量是最靠谱的方案。流程分三步第一步用find_shape_model或者find_grid_rectification找到网格的整体位置和角度第二步根据网格的周期参数生成理论上的网格线位置第三步沿每条理论线布置测量卡尺用measure_pairs测实际线宽和位置和理论值比较。Halcon里有个专门的算子叫find_grid_rectification它能自动检测网格的周期和角度非常适合规则网格的定位。定位之后可以用gen_measure_rectangle2生成测量对象再用measure_pairs提取边缘对。测量结果里如果某条线的宽度偏离均值超过阈值或者某条线根本测不到边缘对就判定为缺陷。这个方法的精度最高但前提是网格必须足够规则。如果网格本身变形严重理论位置就对不上测量会大面积失败。所以它更适合来料一致性好的场景。3.4 三种路径的适用场景对比方法核心算子擅长缺陷类型对光照要求实现难度频域重建差分fft_image, gen_bandpass断线、缺节点、结构缺失中等较高形态学空域差分opening_circle, dyn_threshold异物、污点、局部遮挡较低中等网格拟合测量find_grid_rectification, measure_pairs线宽异常、节点偏移较高中等实际项目里我基本都会把两到三种方法串起来用。比如先用频域方法粗筛结构性缺陷再用测量方法精查线宽最后用形态学方法兜底找异物。这样组合下来漏检率能压得很低。4. 参数计算与调优的实操细节4.1 带通滤波器参数怎么算频域方法里带通滤波器的参数是最关键的。假设网格横向间距是Px像素纵向间距是Py像素图像尺寸是W×H。那么横向主频在频谱图上的位置是W/Px纵向主频位置是H/Py。这两个频率对应的半径就是带通滤波器的中心频率。带宽的确定稍微麻烦一点。理论上如果网格完全规则主频是一个理想的点带宽可以很窄。但实际网格总有轻微的不均匀主频会有一个展宽。我一般会先算功率谱找到主频峰值后看峰值下降到一半时的宽度把这个宽度作为带宽。经验值是带宽取中心频率的10%到20%。在Halcon里gen_bandpass的参数是MinFrequency和MaxFrequency单位是归一化频率。如果中心频率是f0带宽是bw那MinFrequency f0 - bw/2MaxFrequency f0 bw/2。注意这个算子生成的是环形滤波器适合处理各向同性的网格。如果网格是各向异性的横纵间距差很多可能需要用gen_bandpass_filter自定义。4.2 测量卡尺的宽度和阈值设定用measure_pairs测线宽时卡尺的宽度Width要略大于线宽。假设线宽是20像素卡尺宽度设25到30像素比较合适。太窄了可能测不到完整边缘太宽了会引入相邻线条的干扰。边缘阈值Threshold的设定要看图像对比度。如果线条和背景的灰度差是80阈值可以设30到40。如果对比度只有20阈值就得设8到10。我通常会用gray_histo看一下线条和背景的灰度分布取两者之间的谷底作为阈值参考。过渡类型Transition有三个选项positive表示从暗到亮negative表示从亮到暗all表示两者都测。对于亮线线条比背景亮用positive对于暗线用negative。如果不确定用all然后根据结果筛选。还有一个参数是Select用来选择边缘对的极性。如果测的是线条宽度通常选all这样一对边缘左边缘和右边缘都会被提取出来。4.3 形态学结构元素尺寸的确定形态学方法里结构元素的尺寸直接决定了检测灵敏度。以opening_circle为例如果结构元素半径是R那所有宽度小于2R的亮结构都会被抹掉。网格线条的宽度如果是w那R要大于w/2才能把线条抹掉。但R也不能太大否则大缺陷也会被抹掉。我一般会设R w/2 3到w/2 5。比如线宽20像素R设13到15。这样既能抹掉正常线条又能保留大部分缺陷。如果缺陷本身也很大比如大面积污损那形态学方法就不适合得换频域或者测量方法。对于dyn_threshold参考图的滤波核大小要大于网格间距。假设网格间距20像素滤波核直径设40到60像素。Offset参数控制灵敏度值越小越敏感。我一般从10开始试根据误检情况调整。5. 实际项目中的踩坑记录与排查链路5.1 频域重建后差分图全是伪缺陷有一次做金属滤网检测频域重建后差分图里到处都是细碎的亮斑根本分不清哪些是真缺陷。排查过程是这样的先看频谱图发现主频峰值不是尖锐的点而是一片模糊的云。这说明网格本身不均匀周期一致性差。再查成像发现镜头有轻微畸变导致图像边缘的网格间距和中心不一致。解决方案分两步第一步用radial_distortion_self_calibration做畸变校正或者干脆换低畸变镜头第二步把图像分成若干小块每块单独做频域重建这样局部周期一致性就好很多。改完之后伪缺陷减少了八成以上。这个坑给我的教训是频域方法对网格的全局规则性要求很高如果来料本身一致性差要么先做几何校正要么改用局部处理方法。5.2 测量卡尺测不到边缘另一个项目里用measure_pairs测线宽结果一半以上的卡尺返回空。排查发现两个原因一是卡尺方向没和线条垂直因为网格有3度旋转而我是按水平方向布置的卡尺二是部分区域光照太暗边缘对比度低于阈值。第一个问题的解决办法是用find_grid_rectification先算出网格的精确角度然后按这个角度旋转卡尺方向。第二个问题是调整打光增加暗区亮度同时把边缘阈值从30降到15。改完之后测量成功率从不到50%提升到98%以上。注意测量卡尺的方向精度要求很高1度的角度偏差在长线条上就会导致明显的测量误差。一定要先做网格角度拟合再布置卡尺。5.3 形态学方法把大缺陷也抹掉了用opening_circle做差分时发现大面积污损检测不出来。原因是结构元素半径设得太大把污损区域也当成正常结构抹掉了。解决办法是改用多尺度形态学先用小半径结构元素检测小缺陷再用大半径检测大缺陷最后把结果合并。或者干脆放弃形态学方法改用频域方法处理大缺陷。这个坑说明一个道理没有哪种方法是万能的缺陷的尺度跨度大时必须用多尺度或者多方法组合。5.4 阈值设太紧导致漏检设太松导致误检阈值调优是网格检测里最耗时的环节。我的一般策略是先用手动标注的样本集统计正常区域和缺陷区域的特征分布找到两者的分界点。然后用这个分界点作为初始阈值再根据实际运行中的误检漏检情况微调。如果漏检多就把阈值往敏感方向调如果误检多就往保守方向调。但要注意灵敏度和误检率是跷跷板不可能同时最优。实际项目里我通常会把阈值设得略偏敏感然后用形态学或者连通域分析把小的伪缺陷滤掉。这样比直接设保守阈值更可控。6. 提升检测稳定性的工程化经验6.1 标定和畸变校正不能省很多人觉得网格检测就是图像处理忽略了标定。实际上镜头畸变对网格检测的影响非常大。一个1%的畸变在图像边缘可能导致几个像素的位置偏差足以让测量方法失效。所以项目开始前一定要用标定板做相机标定拿到内参和畸变系数然后用change_radial_distortion_image做校正。如果产品是平面的还可以考虑用远心镜头畸变本身就很小能省掉校正步骤。但远心镜头视野有限大尺寸产品可能不适用。6.2 模板匹配做粗定位减少搜索范围网格产品在视野里的位置每次可能不一样如果直接在全图做检测计算量大且容易受背景干扰。我通常会用find_shape_model或者find_grid_rectification先做粗定位把网格区域裁出来再在裁出的区域里做精细检测。这样既快又稳。模板匹配的关键是模板要选好。我一般会选网格特征最明显、最干净的区域做模板模板里不要包含缺陷。匹配分数阈值设0.7到0.8太低会误匹配太高可能匹配不上。6.3 多方法结果融合降低漏检单一方法的漏检率很难做到极低但多方法融合可以。我的做法是频域方法、形态学方法、测量方法各自输出缺陷候选区域然后用union2或者intersection做融合。如果某个区域被两种以上方法都判定为缺陷那基本可以确认如果只有一种方法判定就作为疑似缺陷交给人工复检或者用更高分辨率的相机复查。这种融合策略在实际产线上效果很好漏检率能压到千分之一以下同时误检率也可控。6.4 参数固化与版本管理网格检测的参数很多滤波器参数、测量参数、形态学参数、阈值参数加起来几十个。如果每次换产品都重新调效率太低。我的做法是把不同产品的参数存成配置文件用Halcon的write_tuple或者自定义的INI文件管理。换产品时直接加载对应配置只做微调。另外参数一定要做版本管理。每次调整参数后记录调整原因和效果避免调好了又改回去的情况。这个习惯在多人协作的项目里尤其重要。7. 一个完整的检测流程示例假设我们要检测一个横向间距20像素、纵向间距20像素、线宽约8像素的金属网格缺陷类型包括断线、线宽异常和异物。我会这样组织流程第一步用read_image读图rgb1_to_gray转灰度。第二步用find_grid_rectification检测网格的周期和角度拿到网格参数。第三步用gen_measure_rectangle2沿每条网格线生成测量卡尺measure_pairs测线宽和标准值8像素比较偏差超过2像素的判为线宽异常。第四步对原图做fft_image用gen_bandpass保留主频fft_image_inv重建理想网格和原图做差分差分结果二值化后找断线区域。第五步用opening_circle抹掉网格线条剩下的区域做连通域分析面积超过阈值的判为异物。第六步把三组结果union2合并再用connection和select_shape过滤掉太小的噪声区域。第七步用gen_contour_region_xld和dev_display把缺陷轮廓画出来输出检测结果。这个流程里每一步的参数都需要根据实际图像调整。但整体框架是通用的换产品时只需要改参数不需要改结构。8. 关于Halcon网格检测的一些个人体会做了这么多网格检测项目我最大的体会是Halcon的算子很强大但强大不等于好用。频域方法看起来很高级但如果成像质量不过关再高级的算法也是白搭。我见过太多项目算法调了几个月最后发现是光源选错了。所以我的建议永远是先把成像做好再谈算法。另外网格检测的难点往往不在算法本身而在对缺陷的定义。什么叫断线断多少像素算断线宽偏差多少算异常这些标准如果产线给不出来算法就没法调。我通常会要求产线提供至少50个正常样本和50个缺陷样本先做统计分析确定各类缺陷的特征分布再定检测参数。没有样本支撑的参数调整都是瞎调。最后说一个容易被忽略的点Halcon的版本差异。不同版本的算子行为可能有细微变化尤其是频域和测量相关的算子。如果项目要长期维护建议锁定一个稳定版本不要频繁升级。升级前一定要做回归测试确认所有算子的行为没有变化。网格缺陷检测这个方向说难也难说简单也简单。核心就是理解网格的周期性然后围绕这个周期性做文章。频域、空域、测量三条路各有各的适用场景组合起来用效果最好。参数调优是个细活需要耐心和样本支撑。希望这些经验能帮到正在做类似项目的朋友少踩几个我已经踩过的坑。