简介一份基于Halcon与QT实现的景深合成完整方案面向机器视觉开发者和自动化检测工程师解决多焦距图像融合生成清晰深度数据的实际需求。该技术可提升产品检测、缺陷识别与精密装配中的对焦精度与测量稳定性。压缩包共6个文件、26KB以Halcon工程文件hdev、QT界面源文件cpp、ui、h及项目配置文件pro为主其中hdev封装了dFF3D测量程序的核心算法流程QT部分提供可视化交互界面便于上传图像、调整参数并查看合成结果。已有2317人学习该资源适合希望掌握Halcon景深合成算法实现及C界面集成的中高级开发者。通过研究源码可理解从多图采集、对齐到深度融合的完整链路并据此定制三维测量与质量检测应用是学习和实践计算机视觉技术的良好范本。1. 景深合成在HALCON里解决的是什么问题一次拍摄对不上焦的生产现场镜头的景深只有 0.4mm工件高低差却有 1.5mm这种小视野检测位是景深合成的典型战场。halcon景深合成focus stacking的做法是沿 Z 轴拍一组对焦位置递进的图像逐像素挑出最清晰的灰度合成一张全视野都锐利的图。收光圈当然能换景深但曝光时间从 2ms 涨到 18ms产线节拍直接被打爆多帧采集加算法合成才是产线上更实际的路。这篇记录直接讲清楚它背后的光学条件、在 HDevelop 里的最小实现骨架、参数怎么调以及我踩过的几个高频翻车点。适合做精密零件、PCB、微小结构件检测的视觉工程师如果你的工件本身是平整的单帧就能对焦这个方向可以直接跳过。2. 景深合成背后的成像逻辑为什么多张图合成能救回小景深2.1 一张图拍不全的根因景深、焦深与弥散圆镜头成像里清楚其实是一个工程判据不是物理上的绝对。点光源经过镜头后在像面上不是一个点而是一个弥散圆弥散圆直径小于某个允许值一般取 1~2 个像素尺寸这张图就被认定为够清晰。景深的近似表达式由近景深与远景深组成光圈数 F#、焦距 f、工作距离 WD 三者共同决定。工程上我更常用焦深来算焦深 ≈ 2 × C × F#其中 C 是允许的弥散圆直径。比如像素 3.45μm、F#4 时焦深大约 27μm——这就是多小的台阶差会让边缘发虚的直接参考。为什么收光圈不是万能解光圈收到 F16焦深确实变大但衍射极限会先一步把 MTF 拉低边缘梯度变成一条缓慢的斜坡测量重复性照样完蛋。再加上曝光时间翻倍、光源功率打满也不够节拍和稳定性的账都划不来。景深合成换了一个思路镜头不需要在每一层都清晰它只需要在每一层的某一个对焦位置足够清晰然后把各个位置最清晰的片段拼起来。这里的物理前提有两个一是序列图之间只有对焦位置变化没有相对位移二是每一层必须有一部分内容是真正对焦的。第二个前提容易被忽略如果你的 Z 轴步进超过了焦深两个相邻焦点之间会出现没有任何一张图覆盖的真空层合成算法再聪明也救不回来这一点在第 4 章会展开。2.2 HALCON 里做景深合成的能力边界哪些场景该用哪些别硬上景深合成听起来万能实际用起来要提前判断场景。我接手过的项目里适合做的通常有三个特征工件静止、表面有纹理或边缘、高度差落在镜头焦深的 2 到 3 倍以上。静止是硬条件因为合成要求像素级对齐纹理和边缘是评价梯度所需要的素材高度差太小不值得做高度差太大则需要非常多的层数。常见的适用对象是连接器针脚、微型齿轮、双面胶封装、带沉孔的 PCB。不适合的场景也明确。运动工件不要做哪怕只是 2~3 个像素的抖动合成图的边缘就会拖影镜面和强反光表面不要做梯度响应会被高光噪声淹没算法会把亮点当成清晰度透明罩子下面有多层折射结构的工件也要谨慎焦点峰值不唯一逐像素最优会盯到错误层。场景特征是否适合景深合成说明静止、有纹理、高度差 2~3 倍焦深适合典型的层叠结构件高速运动、机构抖动 1px不适合先解决定位和运控镜面、强反光、液体表面不适合梯度评价被高光带偏透明体多层折射谨慎需要先验证峰值唯一性平面工件、单帧已清晰不需要合成只会徒增节拍技术上HALCON 实现景深合成有两条路新版本提供了专用的深度合成算子参数少、速度快老版本或者想把中间过程完全掌控的项目可以用基础算子自己搭。我习惯自己搭骨架不是因为专用算子不好而是现场排查时能一步步看到是哪一层被选中了为什么这里被替换了这对调试和客户沟通都友好得多。2.3 清晰度评价的本质从边缘梯度到逐像素最优把合成的决策说透。对每一帧图像 I_i对每个像素算一个清晰度分数 S_i(r,c)分数越高代表这一层在这个像素位置越在焦内。最常用的分数是局部梯度幅值也就是 sobel_amp 的输出。在焦内物体边缘的灰度变化剧烈梯度幅值高离焦后边缘被摊平梯度幅值迅速掉下来。于是合成问题变成了一个逐像素的选择题每个像素位置选 S_i 最大的那一层把该层灰度取过来。这里跟相机里的自动对焦逻辑有本质区别。自动对焦是对整幅图算一个总分比如对整幅图求 Tenengrad 和找一个让总分最大的 Z 位置景深合成则是逐像素投票允许同一张图里不同的位置来自不同层。这也是为什么它能把一个倾斜面整体拍清楚——倾斜面上每一行其实处于不同的对焦距离逐像素最优天然适配。理解了这一点后面调参数就有了方向所有调优都围绕如何让 S_i 更可靠。噪声会让梯度虚高所以要先平滑纹理太疏会让分数不稳定所以要选合适的导数核不同层之间有曝光差异需要先做亮度归一化。下一章直接给一个能跑通的最小实现。3. 用HALCON跑通景深合成从序列采集到全清晰图像的完整流程3.1 序列图的采集条件Z轴步进怎么定采集是合成的地基。Z 轴步进是整个项目里第一个要定的数定错了后面所有调参都是徒劳。我的经验是步进不超过焦深的一半最好取焦深的 1/3。焦深用 2 × 像素尺寸 × 光圈数来估算。举两个例子像素尺寸光圈数 F#估算焦深建议步进3.45 μmF4≈ 27.6 μm10 μm3.45 μmF8≈ 55.2 μm20 μm5 μmF5.6≈ 56 μm20 μm注意这个估算没有计入镜头倍率的影响实际还要乘上光学放大率的修正项。更保守的做法是先用显微镜或景深标尺实测一层焦深再除以 2 取整。层数由总高度差除以步进得到一般 6~12 层比较合理超过 20 层就要回头检查是不是放大倍率选太大了。触发方式推荐用硬触发Z 轴运动控制器每走一步发一个脉冲相机外触发采图保证每层图像严格对应一个 Z 位置。软件延时触发看起来省事但运动平台的到位信号有抖动叠加上去后合成的边缘容易出现微米级的错位这类问题排查起来最费时间。每层采一帧就够合成算法本身对单帧噪声有抑制如果照明有明显闪烁每层采 3 帧取中值再参与合成效果立竿见影。注意先确认 Z 轴有位置反馈信号再接硬触发线。没有位置反馈的步进电机建议用光栅尺信号做触发源否则步进丢步时合成图会出现整层的错位。3.2 HDevelop里的最小合成骨架逐层替换算法下面这段是我常用的一套 HDevelop 骨架不依赖专用算子任何版本都能跑。它用的是逐层替换策略第一帧作为初始合成图从第二帧开始每一帧跟当前合成图比清晰度更清晰的区域就替换进去。* 合成图初始化为第一帧 read_image (FocusImage, seq/focus_01) gauss_filter (FocusImage, G, 3) sobel_amp (G, MCur, sum_abs, 3) NumImages : 9 for I : 2 to NumImages by 1 * 按序号读取当前帧 read_image (Image, seq/focus_ I$02d) gauss_filter (Image, GNext, 3) sobel_amp (GNext, MNext, sum_abs, 3) * 当前帧清晰度高于基准的区域差值图大于阈值 sub_image (MNext, MCur, Diff, 1, 0) threshold (Diff, RegionBetter, 1, 255) * 替换把当前帧在 RegionBetter 内的灰度写入合成图 paint_gray (Image, FocusImage, RegionBetter, 0) * 更新清晰度基准进入下一轮比较 max_image (MCur, MNext, MCur) endfor逻辑说明初始化时FocusImage 是第一帧的灰度MCur 是第一帧的清晰度图循环里每读入一帧先算这一帧的清晰度图 MNext再用 sub_image 计算 MNext - MCur 的差值threshold 把差值为正的像素挑成区域 RegionBetter。paint_gray 负责把当前帧这些区域内的灰度值写进 FocusImage完成替换。最后 max_image 把 MCur 更新成两者中的较优值下一帧继续与这个基准比较。参数说明gauss_filter 的核大小取 3sobel_amp 的 FilterType 用 sum_abs、Size 取 3这两处是清晰度评价的默认起点噪声明显时把高斯的第 2 个参数改成 5。threshold 的 MinGray 取 1 不是 0目的是过滤掉差值几乎为零的平坦区避免无意义的碎片替换。paint_gray 的第四个参数 0 表示只画区域内灰度区域外保持原值。如果用的 HALCON 版本较老paint_gray 的参数顺序可能与这里略有出入打开算子帮助核对一遍即可逻辑不受影响。3.3 把合成结果接进检测流程合成图与原始图的坐标一致性合成图与原始序列图尺寸完全一致像素坐标系也没有改变所以后面的亚像素轮廓提取、测量算子可以直接用在 FocusImage 上不需要重新标定。实际项目里我会把合成这一步做成一个独立的预处理步骤存成临时图再进入测量流程避免把合成逻辑和测量逻辑耦合在一起。两个小细节。第一如果检测区域只是工件的一部分合成前先用 reduce_domain 把 ROI 裁出来合成的耗时能降下来一大截而且 ROI 外的大梯度比如夹具边缘不会干扰区域选择。第二如果机构的重复定位精度一般合成前先做配准在每一帧里找一个固定特征圆孔、角点vector_to_rigid 得到仿射变换再 affine_trans_image 统一坐标系。这一步要不要做取决于你第 4 章里合成后坐标偏移那条坑是否出现。最后合成图的域要处理好。变换或替换操作会带来域的裁减传给下游算子前用 full_domain 恢复完整矩形象域不然有时会莫名报错提示 domain 为空或者算子静默跳过一部分区域。这个坑很隐蔽但处理成本只要一行。4. 景深合成避坑指南五个高频翻车点与排查方法4.1 合成图比单帧还模糊现象合成结果出来后某些区域的边缘比最清晰的那一帧还要软甚至整片发雾。原因sobel_amp 对噪声敏感暗场图像上随机噪点的梯度幅值常常高于真实边缘的微弱梯度算法把噪点区当成了清晰区。解决sobel 之前一定先做 gauss_filter 平滑核大小按噪声水平选 3 或 5如果噪声来自照明不足优先把光源亮度补上来而不是靠算法硬扛。排查时把 MCur 单独显示如果是均匀的花斑而不是沿边缘的亮带基本就是噪声主导先回采集端解决照明。4.2 拼接缝横贯合成图现象合成图上能看到明显的分界线一边亮度、纹理与另一边不一样像两块拼图硬拼在一起。原因paint_gray 是硬替换两个深度层之间如果曝光有细微差异边界就会被放大成一圈灰度跳变另外 threshold 产生的碎小区域边缘不整齐也会形成锯齿。解决对 RegionBetter 先做 opening_circle半径 1.5去掉碎块再做 closing_circle半径 1.5平滑边界如果缝隙还在把区域腐蚀 2 个像素再做替换牺牲一小条过渡带换来自然的边界。这一步做完大部分可见分界线都会消失。4.3 Z轴步进太大导致层次断裂现象无论怎么调平滑参数合成图的某个高度带始终是模糊的边缘呈断层状。原因相邻两层的对焦范围没有重叠中间存在没有任何层覆盖的焦深盲区。解决把步进压到焦深的 1/3层数翻倍。这一步要在采集阶段就确认不要指望后期算法能补我见过一个项目为了赶节拍把层数从 10 层砍到 6 层结果合成效果和预期差很远最后步进改回 15μm 才稳定。判断办法很简单任取相邻两层观察两层中间高度上的同一特征如果两层都模糊步进一定大了。4.4 合成后测量坐标偏移了几个像素现象同一特征点在合成图里测出来的坐标和它在某一帧单帧里测的坐标差了几个像素导致后续定位全偏。原因Z 轴爬行过程中相机或工位存在微小的侧向摆动不同帧之间其实是错位的也可能是镜头倍率随对焦距离有微弱变化。解决先验证是哪种。把两帧图像的同一特征做模板匹配看平移量是否稳定稳定的话合成前做仿射配准用 vector_to_rigid 得到变换参数再 affine_trans_image机械上则要检查 Z 轴的直线度和相机的固定是否牢靠。如果平移量不稳定说明是机械间隙问题算法只能兜底治本还得靠机构。4.5 合成速度慢到没法上产线现象9 层 500 万像素的序列跑一次合成要十几秒节拍完全撑不住。原因每帧执行了 gauss、sobel、sub、threshold、max 五次全图遍历HDevelop 解释执行又放大了循环开销。解决先把 ROI 缩小到检测区域这是收益最大的一步往往能省掉一半以上的计算量再把清晰度图按 2×2 降采样来选区域区域找到后再在原图上取值算子层面用带线程并行版本的算子或者把合成逻辑写成 HALCON 的 C 接口扩展。目标是把单次合成压到 1 秒以内这个量级才可以谈产线落地。排查顺序上也有讲究先看采集步进、触发、曝光一致性再看评价噪声是否主导、窗口是否合理最后才怀疑替换逻辑。顺序反了容易在算法层反复折腾最后发现是机械和光学的锅白耽误时间。5. 合成质量怎么调清晰度窗口、过渡带与序列层数的配合5.1 清晰度评价窗口怎么选窗口太小噪声主导太大细节丢失清晰度评价的窗口大小是花时间最多的调参点。高斯核太小压不住噪声太大会把相邻边缘拉成一体让评分失去分辨力。我的默认起点是 gauss 核 3、sobel Size 3适合照明良好、表面纹理细密的情况暗场或噪声明显时高斯换 5sobel 仍保持 3如果要抑制高频纹理干扰把 sobel 换 5代价是边缘定位会偏 1 个像素左右测量类项目要慎用。场景高斯核sobel Size说明亮场、细密纹理33默认起点暗场、噪声明显53先压噪再评梯度高频纹理干扰35抗干扰定位偏 1px极端弱信号75慎用边缘细节损失大判断窗口是否合适有个笨办法把 MCur 单独显示出来看。清晰的 MCur 应该在真实边缘处有一条亮带背景均匀发暗如果整个图花斑斑的说明噪声主导如果边缘亮带特别粗说明核太大把边缘扩宽了。这个可视化检查在 HDevelop 里一分钟就能做完比盯着合成图猜要快得多。各层之间的曝光不一致也要处理否则梯度高会持续偏向更亮的一层。先对每帧做灰度归一化用 min_max_gray 拿到每帧的灰度量级把均值拉到同一个水平再计算清晰度。这个小步骤不复杂却经常能让合成结果稳定一大截。5.2 硬切换还是软融合过渡带怎么处理第 3 章的骨架是硬切换速度快、逻辑清楚但在深度突变区域容易出拼接缝。想要更自然的过渡做法是给每个像素算一个权重而不是非黑即白的区域替换。常见做法把 MNext 和 MCur 都归一化到 0~255取 w MNext / (MNext MCur)合成灰度 w × ImageNext (1-w) × FocusImage。HDevelop 里可以用 div_image、add_image、mult_image 组合出来代码量不大但引入了浮点计算速度会慢一些。我一般先跑硬切换验证结果如果拼接缝不明显就直接用只有客户对缺陷检测的误判率敏感或者表面是渐变色场景时才切到软融合。软融合的权重图还要做一次 gauss_filter 平滑否则权重在像素级跳变过渡带看起来像噪声。权重平滑的核取 5~9具体看过渡带的宽度过渡带太窄软融合和硬切换的效果没区别太宽两个深度层之间的细节会被平均掉边缘反而变虚。5.3 用频域方法验证合成效果合成后如何证明确实变清晰了而不是直觉上觉得变得更好。两个可量化的方法。第一个是频域对比对合成的选区和一个单帧的对应选区做 fft_generic求功率谱统计某个高频段比如 0.3~0.5 倍奈奎斯特频率的能量占比。合成图的高频占比应该显著高于任一单帧否则说明合并没有生效。第二个是边缘剖面分析在合成图上沿一条穿过边缘的线段取灰度剖面用算子拟合边缘位置统计该剖面的 10%~90% 上升宽度。宽度越小边缘越锐利这个数值可以直接写进项目验收报告里。这两条验证方法的价值在于可复现记录下同一 ROI 的频域能量值和边缘上升宽度后续改了 Z 轴步进或光圈拿旧数据和当前数据一比合成质量是变好还是变坏一目了然。这比保存几张合成图直观得多也更容易说服客户接受这个方向。调参时有了量化目标就不会被合成图上的视觉假象带偏。6. 进阶技巧用标定板验证景深合成前后的一致性合成图不是测量图上叠加了一层算法它的几何一致性必须实测。我常用的验证方法是取一块圆格标定板在同样的 Z 轴位置上采集一整组序列图用 HALCON 的标定算子分别对单帧和合成图提取圆心坐标然后做一次标定比较两组结果里的外参和重投影误差。如果合成图引入了几何畸变重投影误差会明显变大圆心提取结果会和单帧对不上。这一步能挡住合成图边缘清晰但测量尺寸就是偏这类最隐蔽的翻车。实际操作时我习惯把验证脚本固定成项目模板每次调整光圈、Z 轴步进或者换镜头后先跑一次标定板验证再跑一次频域对比最后才进正式样件测试。顺序反过来的话出了问题很难定位是光学改动引起的还是合成参数引起的。序列图和合成参数也要保留一份HALCON 的脚本绑定同一套序列图即可复现改过参数后还能回滚这是我最常用的后悔药。还有一个工作习惯把每层图的平均灰度记录下来合成前先确认各层曝光一致。曝光有梯度变化的序列图合成时会在深度边界处留下明显的接缝与其在算法里做补偿不如在采集阶段就解决。最后提示一句合成后如果想做亚像素测量建议在合成图本身上重新跑一次标定而不是沿用某一单帧的标定结果这样测量链路上少一个隐患。希望这次关于 halcon景深合成 的工程记录能帮到正在为小景深头疼的你。本文还有配套的精品资源点击获取