简介这份资源面向从事图像处理与计算机视觉开发的工程师及学习者提供一套可直接调用的景深融合算法实现用于解决多张不同焦段图片合成全清晰图像的问题。核心融合算法已封装为动态链接库调用方无需关注内部实现即可集成到自己的项目中支持 OpenCvSharp.MatType.CV_8UC1 与 CV_8UC3 两种图像数据格式测试案例可直接打开 jpg 或 bmp 文件并转换为 Mat 格式完成融合处理速度取决于电脑多核性能。压缩包共 54 个文件约 89.19MB以 13 个 dll 运行库、7 个 cs 源码、5 个 pdb 调试符号及 xml、config、resx 等配置资源文件为主另含 sln 解决方案与 csproj 工程文件便于在 Visual Studio 中直接编译调试。已有 204 人学习下载适合需要快速验证景深融合效果或将其嵌入实际项目的开发者参考。1. 图像景深融合一套能直接跑起来的源码解决多焦段照片合成难题拍微距或者显微成像的人都遇到过这个场景同一个画面前景的花蕊清晰了背景的叶片就糊了把焦点往后挪叶片清楚了花蕊又虚了。单张照片的景深就那么点想全画面都锐利靠一次曝光根本做不到。这套「图像景深融合处理源代码」干的就是这件事——把同一机位、不同焦点的多张图喂进去逐像素挑出最清晰的部分拼成一张全清晰图。它面向的是做工业视觉、显微成像、计算摄影方向的开发者以及手里有大量多焦段素材、想批量出图又不想依赖商业软件的人。源码形态意味着你能改融合策略、换评价算子、接进自己的流水线而不是被一个黑盒工具卡住。2. 技术选型与目录结构为什么用 Python OpenCV 而不是纯 C2.1 选型逻辑算法验证优先性能后置景深融合的核心不在工程复杂度而在融合质量。判断「哪个像素更清晰」这件事涉及梯度、拉普拉斯、方差、频域能量等多种评价方式开发期需要反复换算子、调窗口、看中间结果。这种场景下 Python NumPy OpenCV 的组合几乎是默认答案OpenCV 提供成熟的滤波、形态学、金字塔操作NumPy 负责逐像素的向量化运算改一行就能验证一个新想法。纯 C 当然更快但编译—调试—对比的循环成本高在算法还没定型时是负担。常见做法是把重活交给 OpenCV 的底层实现Python 层只做调度和决策。比如拉普拉斯算子、高斯金字塔、形态学闭运算这些在 OpenCV 里都是优化过的 C 实现Python 调用几乎没有额外开销。真正慢的逐像素循环用 NumPy 的切片和广播替代性能差距能压到可接受范围。我一般会先保证算法正确等融合质量稳定了再把热点函数用 Cython 或 pybind11 下沉而不是一上来就追求极致性能。依赖清单大致是这样版本不必严格对齐但 OpenCV 建议 4.xpip install opencv-python numpy scipyopencv-python负责图像读写和滤波numpy负责矩阵运算scipy在部分评价算子如高斯滤波的替代实现、形态学里会用到。如果你的素材是 16 位显微图注意用cv2.imread(path, cv2.IMREAD_UNCHANGED)读否则默认会被截成 8 位动态范围直接损失一半这是后面避坑章节要展开的点。2.2 目录结构按「输入—评价—融合—输出」四段切分源码包的组织方式通常遵循处理流水线一个合格的工程化目录大致长这样depth-fusion/ ├── main.py # 命令行入口解析参数、调度流程 ├── config.yaml # 算子选择、窗口大小、金字塔层数等配置 ├── core/ │ ├── loader.py # 多图读取、尺寸对齐、位深处理 │ ├── focus_measure.py # 清晰度评价算子集合 │ ├── fusion.py # 融合主逻辑加权/金字塔/决策图 │ └── postprocess.py # 去噪、边缘平滑、色彩一致性校正 ├── utils/ │ ├── visualize.py # 中间结果可视化评价图、决策图 │ └── metrics.py # 融合质量指标如 Q_AB/F、互信息 ├── data/ │ ├── input/ # 待融合的多焦段图 │ └── output/ # 融合结果 └── tests/ └── test_fusion.py # 单元测试与回归样例这个划分的关键在于focus_measure.py和fusion.py解耦。评价算子只负责「给每个像素打一个清晰度分数」融合模块只负责「根据分数决定取谁」。这样换算子不影响融合逻辑换融合策略也不影响算子二次开发时改动面很小。config.yaml把窗口大小、金字塔层数、是否做后处理这些参数外置避免改代码才能调参。2.3 入口与配置参数怎么传、默认值怎么定main.py的职责是薄薄一层读配置、读图、调fusion、写结果。典型写法import argparse, yaml, cv2 from core.loader import load_stack from core.fusion import fuse_stack def main(): parser argparse.ArgumentParser() parser.add_argument(--config, defaultconfig.yaml) parser.add_argument(--input, requiredTrue, help多焦段图所在目录) parser.add_argument(--output, defaultdata/output/result.png) args parser.parse_args() with open(args.config, r, encodingutf-8) as f: cfg yaml.safe_load(f) # 读入整组图返回 list[np.ndarray]已做尺寸对齐 stack load_stack(args.input, keep_bitdepthcfg[io][keep_bitdepth]) # 融合主流程 result fuse_stack(stack, cfg) cv2.imwrite(args.output, result) if __name__ __main__: main()--input指向一个目录而不是单文件因为景深融合天然是多图输入。keep_bitdepth控制是否保留原始位深显微或工业相机素材一般设为true。fuse_stack接收整组图和配置字典内部再决定用哪种评价算子和融合方式。这种「入口薄、逻辑在 core」的结构好处是你写脚本批量跑的时候可以直接import fuse_stack不必走命令行。3. 核心模块拆解清晰度评价算子与融合决策的完整链路3.1 清晰度评价为什么单一算子不够用融合质量的上限由评价算子决定。如果算子判断错了「哪个像素更清晰」后面融合再精细也是错的。常见算子各有短板拉普拉斯方差对噪声敏感梯度幅值在低对比度区域容易失效频域高频能量计算量大且对纹理方向敏感。工程上很少只用一种而是组合或者按区域切换。一个实用的做法是改进拉普拉斯SMLSum of Modified Laplacian它对焦外模糊的响应比原始拉普拉斯更稳import cv2 import numpy as np def modified_laplacian_focus(img, ksize3): 返回与输入同尺寸的清晰度图值越大越清晰 # 转灰度评价清晰度不需要色彩信息 gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) if img.ndim 3 else img gray gray.astype(np.float32) # 分别计算 x、y 方向的二阶差分取绝对值后相加 # 相比直接 cv2.Laplacian分方向处理能减少对角方向的抵消 kernel_x np.array([[0, 0, 0], [-1, 2, -1], [0, 0, 0]], dtypenp.float32) kernel_y np.array([[0, -1, 0], [0, 2, 0], [0, -1, 0]], dtypenp.float32) lap_x cv2.filter2D(gray, -1, kernel_x) lap_y cv2.filter2D(gray, -1, kernel_y) ml np.abs(lap_x) np.abs(lap_y) # 用均值滤波做局部窗口聚合窗口越大越平滑但边缘定位越粗 focus_map cv2.blur(ml, (ksize, ksize)) return focus_mapksize是聚合窗口默认 3 适合细节丰富的场景纹理稀疏或噪声大时调到 5 或 7。分方向计算再取绝对值相加是为了避免标准拉普拉斯核在特定方向上正负抵消导致清晰区域被误判为模糊。cv2.blur做局部平均把单像素的响应扩散到邻域减少孤立噪点造成的决策抖动。提示评价图一定要归一化后再可视化否则不同算子输出量级差异很大肉眼看不出对错。用(m - m.min()) / (m.max() - m.min() 1e-8)转成 0~1 再存图。3.2 决策图生成从逐像素比较到形态学清理有了每张图的清晰度图最直接的做法是逐像素取最大值对应的图。但这样会产生大量孤立噪点融合结果出现「麻点」。工程上要加一步决策图清理def build_decision_maps(focus_maps): focus_maps: list[np.ndarray]返回每张图的二值决策图 stack np.stack(focus_maps, axis0) # (N, H, W) idx np.argmax(stack, axis0) # 每个像素最清晰的图索引 maps [] for i in range(stack.shape[0]): m (idx i).astype(np.uint8) * 255 # 开运算去孤立点闭运算填小孔 m cv2.morphologyEx(m, cv2.MORPH_OPEN, np.ones((3, 3), np.uint8)) m cv2.morphologyEx(m, cv2.MORPH_CLOSE, np.ones((5, 5), np.uint8)) maps.append(m) return mapsnp.argmax沿图数量维度取最大得到每个像素归属哪张图。开运算的 3×3 核去掉单像素噪点闭运算的 5×5 核填补决策图里的小空洞避免融合后出现细小黑斑。核大小不是越大越好太大反而会把真实的细节边界抹掉一般开运算 3、闭运算 5 是稳妥起点。3.3 融合与后处理加权过渡消除拼接痕直接按二值决策图取像素边界处会有硬切换放大看能看到「接缝」。改进方式是对决策图做高斯模糊变成软权重再加权def fuse_with_weights(stack, decision_maps, sigma3): weights [cv2.GaussianBlur(m.astype(np.float32) / 255.0, (0, 0), sigma) for m in decision_maps] wsum np.sum(weights, axis0) 1e-8 weights [w / wsum for w in weights] # 归一化保证权重和为 1 result np.zeros_like(stack[0], dtypenp.float32) for img, w in zip(stack, weights): result img.astype(np.float32) * w[..., None] # 广播到三通道 return np.clip(result, 0, 255).astype(np.uint8)sigma控制过渡带宽度3 适合大多数场景边界明显时加到 5。归一化这一步不能省否则模糊后权重和不为 1结果整体偏暗或偏亮。w[..., None]把二维权重扩成三通道让同一像素的 RGB 用相同权重避免色彩偏移。后处理阶段还可以加一步色彩一致性校正如果不同焦段图之间有轻微曝光差异融合后会出现色块用均值匹配或直方图对齐能缓解。4. 跑起来从环境准备到第一张融合图4.1 环境与素材准备先把依赖装好确认 OpenCV 能正常导入python -c import cv2, numpy; print(cv2.__version__, numpy.__version__)素材要求同一机位、同一曝光、只改变焦点至少两张建议三到五张覆盖整个景深范围。文件名按焦点顺序排列如focus_01.png、focus_02.pngloader.py一般按文件名排序读入。尺寸必须一致不一致时load_stack会做裁剪或缩放对齐但最好在采集阶段就固定分辨率避免对齐引入插值模糊。4.2 执行与结果检查python main.py --input data/input --output data/output/result.png --config config.yaml跑完后先看结果图整体是否全清晰再放大检查边界。如果某块区域仍然模糊说明该区域在所有输入图里都不够清晰属于采集覆盖不足不是算法问题。如果边界有接缝调大sigma如果结果有麻点检查决策图开运算核是否太小。utils/visualize.py可以把每张图的清晰度图和决策图存出来这是排查问题的第一手材料。4.3 批量处理与参数扫描单组图跑通后批量场景一般写个外层脚本遍历目录或者把fuse_stack直接 import 进自己的流水线。参数扫描时重点调三个评价窗口ksize、过渡sigma、金字塔层数如果用了多尺度融合。建议固定一组典型素材做回归每次改参数都跑一遍对比避免「调好了这组、坏了那组」。5. 避坑与排查五个真实会翻车的点5.1 读图位深被截断显微素材细节全丢现象16 位素材融合后整体发灰暗部细节消失。原因cv2.imread默认按 8 位读超过 255 的值被截断。解决统一用cv2.imread(path, cv2.IMREAD_UNCHANGED)并在融合前确认dtype16 位数据在加权时要转float32再算最后按原始位深写回。5.2 输入图未对齐融合结果出现重影现象边缘出现双层轮廓。原因手持或云台微动导致多图有像素级偏移。解决融合前加配准步骤用cv2.findTransformECC或特征点匹配做亚像素对齐以第一张为基准。对齐后再算清晰度图否则评价本身就被错位污染了。5.3 评价算子对噪声过敏决策图满屏麻点现象平坦区域被随机判给不同图融合后噪点放大。原因拉普拉斯类算子对高频噪声响应强。解决评价前先做轻度高斯或双边滤波或者在评价图上先做中值滤波再argmax。注意滤波不能太重否则真实边缘也被抹平。5.4 权重未归一化结果整体偏暗现象融合图比输入暗一截。原因高斯模糊后各图权重和小于 1加权求和时能量损失。解决加权前显式除以权重和并加1e-8防除零。这个坑在改sigma后特别容易复现因为过渡带越宽权重和偏离 1 越明显。5.5 色彩空间混用结果偏色现象融合图饱和度异常或通道错位。原因有的步骤按 BGR 处理有的按 RGB或者灰度图被误当三通道广播。解决全流程统一 BGROpenCV 默认只在最终保存或可视化时按需转换灰度评价图扩通道时用[..., None]而不是cv2.cvtColor避免多余转换。6. 二次开发换算子、接流水线、做质量回归的三个改造方向改造这套源码我建议从「评价算子」入手因为它是融合质量的天花板改动收益最直接。focus_measure.py里每个算子都是「输入图、输出同尺寸清晰度图」的统一签名新增一个算子只要遵守这个契约在config.yaml里加个名字、在fusion.py的分发逻辑里注册一下就能用。比如你想试频域方法用np.fft.fft2算高频能量或者用导向滤波替代均值聚合都不需要动融合主流程。这种插件式结构是这套代码最值得保留的设计。第二个方向是接进现有流水线。fuse_stack(stack, cfg)是纯函数式接口不依赖全局状态直接 import 就能嵌进采集—处理—存储的链路。如果你的上游是相机 SDK 实时取流把多焦段帧缓存成 list 传进去即可下游要存 16 位 TIFF注意在fuse_with_weights里保留float32中间结果别提前转uint8。第三个方向是做质量回归。融合质量不能只靠肉眼看utils/metrics.py里的 Q_AB/F 或互信息指标能给出量化分数。我的习惯是固定三组典型素材高纹理、低对比、大景深差每次改算子或参数都跑一遍记录指标和耗时形成一张对比表改造项评价算子平均 Q_AB/F单组耗时基线改进拉普拉斯0.710.8s实验 A梯度幅值0.680.5s实验 B频域高频能量0.742.1s这张表能帮你快速判断「质量提升是否值得性能代价」避免凭感觉调参。血泪经验是不要在没有回归基线的情况下大改融合逻辑很容易这组好了那组崩最后连哪版更好都说不清。从那以后我每次动核心算子前都强制先把当前版本跑一遍存基线改完再对比没有量化对比就不合并。希望这套拆解能帮你少走几步弯路把源码跑起来、改出自己的融合策略。本文还有配套的精品资源点击获取