刚把第一篇里读图、存图、窗口显示这些基本功跑通的时候我一度觉得自己已经会 OpenCV 了。直到接了一个模糊照片里的文字区域提取需求才发现“简单图像处理”这件事越往后越考验对像素、滤波、阈值这些基础操作的组合能力。第二篇延续这个系列聊几个我实际中用得最多、也最容易在参数上调不明白的操作色彩空间、几何变换、滤波、二值化、形态学、边缘检测最后把这一整套串成一个小流程。如果你已经能熟练完成imread、cvtColor、imwrite这几个基础动作但又不知道下一步该学什么这篇刚好接上。内容不绕弯子每个节点都会讲清楚“为什么这么设参数”而不是甩一段代码让你抄完就完。1. 色彩空间这块功课值得单独补一课很多人写图像处理脚本第一步就翻车在颜色上。用cv2.imread读一张图再用 matplotlib 直接plt.imshow显示结果发现整张图蓝不蓝红不红像滤镜套错了一样。这不是 OpenCV 的 Bug而是它读图默认通道顺序是 BGR不是我们习惯的 RGB。1.1 BGR 不是错误是约定imread返回的 numpy 数组形状是(H, W, 3)第三个维度的三个通道依次是蓝、绿、红。这个约定来自 OpenCV 历史原因早期许多图像格式和摄像头驱动就是这么输出画面数据的。你不需要喜欢它但必须记住它。常见坑有两个用 matplotlib 显示之前必须执行cv2.cvtColor(img, cv2.COLOR_BGR2RGB)否则颜色通道错位。用cv2.imwrite保存图片时不用转回 BGR因为保存函数也按 BGR 处理。有人习惯在流程中间把图转成 RGB最后保存前又转回 BGR多转几次不仅浪费时间还会在数值上产生微小误差。正确做法是整条链路由头到尾都保持 BGR 一致只有可视化预览时才临时转换。import cv2 import matplotlib.pyplot as plt img cv2.imread(demo.jpg) # matplotlib 默认按 RGB 解释所以必须先转换 img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) plt.imshow(img_rgb) plt.axis(off) plt.show()1.2 灰度图像不是“三通道取平均”转灰度是cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)一行代码搞定。但内部的计算公式是加权平均而不是简单地把三个通道相加除以三。OpenCV 里灰度值大约按 B 通道 0.114、G 通道 0.587、R 通道 0.299 的权重计算。G 通道权重最高是因为人眼对绿色亮度敏感度最高。这个细节平时不用算但可以解释一个现象同一张图RGB 三个通道单独拿出来看G 通道的对比度往往最舒服细节最接近人眼看原图的感受。灰度图只有一个通道数据量降为原来的三分之一而且能把亮度信息从颜色信息里剥离出来。很多后续算法——比如边缘检测、阈值分割、轮廓查找——默认都吃灰度图或二值图。你直接拿彩色图去跑 CannyOpenCV 会内部转灰度但输出效果不一定符合预期。1.3 HSV 阈值分割是调颜色最趁手的工具如果要从画面里把某个颜色目标抠出来直接在 BGR 空间写if b 100 and g 60 and r 120这类条件会写到你崩溃因为光照稍微一变三个通道的值全在漂移。HSV 空间把人眼感知的颜色拆成色相 H、饱和度 S、明度 V 三个维度更适合做颜色分割。提取黄色目标的常规操作img cv2.imread(scene.jpg) hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) # 黄色在 HSV 中大概对应 H20~35 lower (15, 80, 80) upper (45, 255, 255) mask cv2.inRange(hsv, lower, upper) result cv2.bitwise_and(img, img, maskmask)inRange的输出是一张二值掩膜白色区域是满足颜色条件的像素黑色区域是不要的像素。S 和 V 的下限设得低一点可以容忍颜色偏灰或偏暗的目标但如果设太低阴影里的暗部也会混进来。新手最容易踩的坑是 H 通道范围。多数人习惯把色相当成 0 到 360 度但 OpenCV 里 8 位图像的 H 范围只有 0 到 179。红色尤其容易出问题因为它既分布在 H 接近 0 的地方又分布在 H 接近 180 的地方单独一段下限上限根本圈不住完整的红色。遇到这种情况要么拆成两段 mask 再做bitwise_or要么把 H 范围扩到 170~10 这种跨边界写法。调 HSV 阈值我强烈建议先写个小滑块脚本再定值不要靠猜。核心逻辑就是把cv2.createTrackbar和cv2.inRange绑在一起拖动滑块实时观察 mask 结果。实测下来光凭肉眼估一个 H 值十次有八次都偏这跟经验无关纯属人眼对 HSV 空间不敏感。2. 几何变换旋转缩放背后的坐标映射几何变换在图像处理里被归为“简单操作”但很多人只知道cv2.resize一个函数真正遇到旋转裁边、透视矫正就卡壳。其实只要理解一个中心思想几何变换就是在算“原图某个像素点变换后跑到新图的哪个位置”OpenCV 只负责帮你做这个映射怎么映射的决定权在你。2.1 resize 的插值方式不能一直用默认cv2.resize的interpolation参数很多人从来不设。对于一张普通图片缩放个一两倍默认的 INTER_LINEAR 没问题。但遇到缩小很多的情况线性插值会丢失纹理细节甚至出现摩尔纹。缩减时用 INTER_AREA 效果明显更好它本质上做了区域平均类似“把一块区域压缩成一个像素”对高频纹理有抑制作用。四种插值方式适用场景方式特点适用场景INTER_NEAREST速度最快边缘锯齿明显像素风格图、放大预览INTER_LINEAR默认质量速度均衡日常缩放INTER_CUBIC放大质量更好速度偏慢对图像质量敏感的放大INTER_AREA缩小效果好防混叠图像缩小、金字塔下采样2.2 旋转时画布大小要自己重新算cv2.getRotationMatrix2D(center, angle, scale)生成一个 2x3 旋转矩阵angle 为正时意味着逆时针旋转。矩阵算出来后直接用cv2.warpAffine旋转会发现四个角被切成锯齿内容也丢了。原因是旋转后的画布尺寸还停留在原图宽高内容转出去的部分超出了边界。旋转后新画布尺寸的常见做法是假设旋转角为theta原图宽w、高h新宽new_w h * sin(theta) w * cos(theta)新高new_h h * cos(theta) w * sin(theta)。角度要换成弧度制绝对值一取就能算出四个角旋转后需要的最小包围框。import math import cv2 import numpy as np h, w img.shape[:2] angle 15 M cv2.getRotationMatrix2D((w // 2, h // 2), angle, 1.0) rad math.radians(angle) cos abs(math.cos(rad)) sin abs(math.sin(rad)) new_w int(h * sin w * cos) new_h int(h * cos w * sin) # 平移画布中心避免内容偏离出图 M[0, 2] (new_w - w) / 2 M[1, 2] (new_h - h) / 2 rotated cv2.warpAffine(img, M, (new_w, new_h))旋转后的黑色填充区域偶尔也会碍事。warpAffine默认填充值是 0也就是纯黑。如果后面直接对旋转结果做阈值黑色区域会变成一个突兀的黑色大块。可以用参数borderValue(255, 255, 255)改成白色或者cv2.BORDER_REPLICATE让边缘像素向外铺开。2.3 拍歪的文档靠透视变换拉正仿射变换是“平行线仍然平行”的线性变换适合缩放、旋转、平移。但拍歪的名片、试卷由于拍摄角度导致本来是矩形的物体变成了任意四边形单靠仿射救不回来。这时用cv2.getPerspectiveTransform给定源图四个点和目标图四个点生成 3x3 透视矩阵再cv2.warpPerspective矫正。我在处理名片矫正时通常不会手动点四个点而是先二值化、找外轮廓、用approxPolyDP把轮廓近似成四边形再取四个顶点作为源点。目标点就简单了固定成一个标准矩形即可。完整链路放到最后一节一起演示这里先记住一个原则透视变换至少要四个点且点序要么全顺时针要么全逆时针乱了矩阵就算出来结果也会扭曲得没法看。3. 滤波去噪噪声是什么类型决定你用什么滤波滤波这事我见过最典型的翻车现场一张带椒盐噪声的图用高斯滤波处理了半天画面确实平滑了噪点却还倔强地留在原地。原因很简单——每种滤波对付的噪声不一样。搞清楚噪声从哪来远比你背十个滤波函数名管用。3.1 常见噪声的两种长相图像噪声大致分两类。一类是高斯噪声传感器热噪声、光照不均带来的整体颗粒感数值在真实亮度附近做连续随机波动。另一类是椒盐噪声画面里随机出现纯白或纯黑的离散点像是数据传输时的比特错误。为了验证每种滤波的效果我习惯先在干净图上人为加噪再测滤波这样心里有底。模拟代码很简单import numpy as np import cv2 img cv2.imread(demo.jpg, cv2.IMREAD_GRAYSCALE) h, w img.shape # 高斯噪声 noise_gauss np.random.normal(0, 25, (h, w)).astype(np.uint8) img_gauss cv2.add(img, noise_gauss) # 椒盐噪声 img_salt_pepper img.copy() num_points 5000 coords_y np.random.randint(0, h, num_points) coords_x np.random.randint(0, w, num_points) for y, x in zip(coords_y, coords_x): img_salt_pepper[y, x] 255 if np.random.rand() 0.5 else 03.2 四种滤波各自的脾气性格均值滤波cv2.blur就是卷积核里所有像素取平均。速度快但边缘跟着一起模糊。高斯滤波cv2.GaussianBlur在均值基础上加了权重离中心越近的像素对结果影响越大。这个权重更贴近自然图像中相邻像素的相关性所以日常去噪里高斯滤波是默认首选。中值滤波cv2.medianBlur的做法是把核内像素排序取中位数。椒盐噪声要么是白点要么是黑点在排序后不是最大就是最小中位数可以直接把它剔除。所以对付椒盐噪声中值滤波几乎是必胜招。双边滤波cv2.bilateralFilter最特殊它不仅看空间距离还看像素值差异。两个像素离得近但亮度差别大会被判定为边缘不再互相平均。所以双边滤波能做到“去噪但不糊边”代价是计算速度慢而且参数多调起来更讲究。滤波方式擅长噪声边缘保留速度均值滤波高斯噪声差快高斯滤波高斯噪声较差快中值滤波椒盐噪声中等中双边滤波轻度混合噪声好慢3.3 滤波参数的几个硬经验核大小必须用奇数因为卷积核要有中心点。3x3 太小去噪效果弱9x9 以上细节基本糊完。我的经验是第一次用 5x5看结果决定往大调还是往小调。GaussianBlur里的sigmaX参数如果写 0OpenCV 会根据核大小自动算绝大多数场景都不用手动指定省心。滤波在流程中的位置也有讲究。如果后面要做阈值分割滤波要放在灰度之后、阈值之前。先滤波后二值化能减少阈值的误判。彩色图也可以直接滤波但注意它会对三个通道分别处理耗时是灰度的三倍。对性能敏感的实时场景先把彩色图转灰度再滤波往往性价比最高。4. 二值化从灰度到黑白不是“超过128设255”一句能讲完的二值化把 0 到 255 的灰度压缩成 0 和 255 两种状态。这一步的意义在于后续很多处理只关心“有没有”不关心“有多少”。比如文字识别只要知道哪里是笔画、哪里是背景就够了。4.1 全局阈值的多模式cv2.threshold最简单给一个固定阈值逐像素进行比较。但除了常用的THRESH_BINARY还有几种子类型也值得知道。THRESH_BINARY 是把高于阈值的设 255低于设 0。THRESH_BINARY_INV 刚好相反。THRESH_TRUNC 是把高于阈值的截断为阈值低于的不变适合保留灰度渐变区域。THRESH_TOZERO 则是低于阈值变成 0高于阈值保持原灰度值相当于把暗背景清掉。实际场景里THRESH_BINARY 和 THRESH_BINARY_INV 占了九成需求。具体用哪个取决于目标物体是亮底还是暗底。千万别写死在代码里宁可多传一个参数。4.2 大津法让算法自己找阈值很多人对着直方图挑阈值挑到眼瞎这活其实可以交给 Otsu。它的原理是穷举所有可能的阈值找一个能把前景和背景类间方差最大化的值。直观理解就是分割后两类的像素内部越“团结”、两类之间差别越大这个阈值就越合理。调用时只需要在threshold里追加cv2.THRESH_OTSUret, binary cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU)注意第一个参数的值要写 0因为 Otsu 会自动忽略它并把算出来的阈值放到ret变量里。Otsu 适合直方图有明显双峰的情况比如一张白底黑字的扫描件。如果图像光照不均直方图被光照拖成一片双峰不明显Otsu 算出来的阈值经常会把阴影区域误判成前景。这时换自适应阈值。4.3 自适应阈值对付光照不均的好手自适应阈值的核心是把图像切成一个个小邻域每个邻域单独算一个阈值。邻域里的像素和局部阈值比较暗部在暗背景下也能正确保留亮部同理。这在扫文档、拍板材、拍屏幕这类光照不均匀的场景里几乎是标配。adaptive cv2.adaptiveThreshold( gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, # blockSize必须是大于1的奇数 2 # 常数C从每个邻域计算出的阈值中减去的值 )blockSize控制局部邻域大小设太小会导致噪声被当成前景设太大会失去“局部”的意义跟全局阈值没区别。C 的作用是让判断标准稍微严格一些避免亮背景边缘被误判成前景。我处理纸张扫描件时会先用 5x5 高斯滤波去掉纸纹再走自适应阈值效果比直接阈值稳定很多。5. 形态学操作给二值图做“瘦身”和“增肥”二值化之后图像里通常会有一些小噪点、小孔洞、笔画断裂等问题。直接在像素级去处理特别费劲形态学操作就是专门干这个的。它有两个基本操作腐蚀和膨胀其他操作都是这两者按不同顺序的组合。5.1 腐蚀与膨胀谁胖谁瘦要分清腐蚀操作是让白色区域缩小、变瘦。原理是卷积核覆盖的邻域里只有全部像素都是白色中心点才保留为白色只要有一个像素是黑色中心点就变黑。效果就是白色区域的边界被“啃”掉一圈细小的白色噪点直接被啃没了。膨胀则相反邻域里只要有一个白色中心点就变白白色区域变大黑色小孔被填上。用代码演示更直观import cv2 import numpy as np kernel np.ones((3, 3), dtypenp.uint8) eroded cv2.erode(binary, kernel, iterations1) dilated cv2.dilate(binary, kernel, iterations1)核的形状不一定是矩形。cv2.getStructuringElement可以生成十字形、椭圆形等结构元素。对文字笔画这种细长结构十字形核比矩形核更温和不容易把笔画断开。对杂乱的噪点区域矩形核的清除能力更强。iterations参数表示连续执行几次但要注意它不等于核大小的线性放大腐蚀叠加会让目标轮廓产生非线性收缩过多迭代会把目标直接吃掉。5.2 开运算和闭运算开运算是先腐蚀后膨胀。腐蚀去掉了小噪点膨胀再恢复白区域的大小。注意“恢复”只是大致恢复细节形状已经被腐蚀改变过了噪点不会再回来。闭运算是先膨胀后腐蚀。膨胀填补了小孔洞腐蚀再把膨胀出去的边界收回来。两者组合起来就能做到“只清除小扰动不改变大目标”。opening cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) closing cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel)文字提取里开运算用来去掉二值化后散落在文字周围的小墨点闭运算则可以把断开的笔画重新连起来。如果一篇文档扫描件的笔画断裂严重连续做两次闭运算通常能明显改善连通性。5.3 一种不太起眼的用法边界提取简单图像处理里形态学还能直接求边界。把原图减去腐蚀后的图得到的差值就是白色区域被侵蚀掉的那一圈像素也就是边界。这个方法可以在没跑 Canny 的情况下快速获得边缘掩膜对后续轮廓查找很有用而且生成的边界是闭合连续的不像梯度算法得到的边缘那样容易断裂。boundary cv2.subtract(binary, eroded)这条技巧特别适合那种边缘比较平整的目标比如金属零件、纸片、文档页比 Canny 少调两个参数结果反而更干净。6. Canny 边缘检测一条完整处理链路的标配边缘检测是整个“简单图像处理”系列里最像“算法”的一步因为它内部不是单一操作而是一整套流程。把 Canny 的底细摸清楚才知道它的两个阈值到底在控制什么。6.1 Canny 内部其实是一条流水线Canny 大致分四步高斯平滑先给图像去噪避免噪声被当成伪边缘。计算梯度幅值和方向Sobel 算子求出每个像素点在水平和垂直方向的亮度变化合成梯度幅值。非极大值抑制梯度方向上看只保留局部最大像素作为候选边缘其余压掉。这一步让边缘变细。双阈值滞后连接设置高低两个阈值。梯度幅值大于高阈值的像素确定为强边缘小于低阈值的直接丢介于两者之间的只有跟强边缘相连才保留。理解第 4 步尤其有用。很多人遇到边缘断裂第一反应是降低高阈值。但降低高阈值虽然能多保留细节也会把更多噪声放进来。更合理的思路是调大低阈值和高阈值的比例范围让中等强度的真实边缘更容易保留如果断口实在太大再用形态学闭运算把断裂处粘起来。6.2 参数经验阈值比例比绝对值更重要cv2.Canny的用法是edges cv2.Canny(gray, 50, 150)50 是低阈值150 是高阈值。经验公式是高低比大约 2:1 到 3:1。我喜欢先把高阈值定在 150 左右低阈值设为高的一半然后根据效果调。如果边缘碎成一段一段优先把低阈值往下调。如果边缘线条太粗或有大量噪声点把高阈值往上抬。L2gradientTrue可以切换成更精确的梯度计算方式边缘响应更准但速度慢一些。绝大多数场景用默认的 L1 就够了。6.3 Canny 结果的后处理Canny 输出是一张 0 和 255 组成的边缘图但这张图往往是零散的小线段直接找轮廓经常会找到一堆碎片。我通常会在边缘图上补一个闭运算把邻近的线段连成整体再交给cv2.findContours。edges cv2.Canny(gray, 50, 150) kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3)) edges_closed cv2.morphologyEx(edges, cv2.MORPH_CLOSE, kernel) contours, hierarchy cv2.findContours( edges_closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE )findContours在 OpenCV 3 之后返回两个值contours 和 hierarchy别再用老版本的三个返回值写法。RETR_EXTERNAL只找最外层轮廓找文档、卡片这类单目标场景最省事RETR_LIST适用于不需要层级关系的多个目标RETR_TREE会保留内外嵌套关系适合分析图形结构但存储和遍历也更繁琐。7. 把这些招数串起来一个可复用的文档区域提取流程前面所有操作单拎出来都不难真正有价值的是组合。我拿“从一张随手拍的名片照片里自动框出名片区域并拉正”这个需求把整条链路过一遍。这也是我在某次模拟项目里实际跑通过的流程。7.1 流程设计与完整代码整体思路先让文字区域在二值图中变成块状再找最大轮廓得到四个顶点最后透视变换拉正。import cv2 import numpy as np def extract_document(img_path, output_path): img cv2.imread(img_path) img cv2.resize(img, None, fx0.5, fy0.5, interpolationcv2.INTER_AREA) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) gray cv2.GaussianBlur(gray, (5, 5), 0) # 光照不均就优先自适应阈值 binary cv2.adaptiveThreshold( gray, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 11, 2 ) # 开运算去掉散点闭运算把文字连成块 kernel np.ones((5, 5), dtypenp.uint8) morph cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel) morph cv2.morphologyEx(morph, cv2.MORPH_CLOSE, kernel) edges cv2.Canny(morph, 30, 90) contours, _ cv2.findContours( edges, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE ) contours sorted(contours, keycv2.contourArea, reverseTrue) for contour in contours[:5]: peri cv2.arcLength(contour, True) approx cv2.approxPolyDP(contour, 0.02 * peri, True) if len(approx) 4: pts_src approx.reshape(4, 2).astype(np.float32) break else: raise RuntimeError(未找到四边形轮廓) # 目标矩形按左上、右上、左下、右下排列 rect order_points(pts_src) h, w 800, 600 pts_dst np.float32([[0, 0], [w, 0], [0, h], [w, h]]) M cv2.getPerspectiveTransform(rect, pts_dst) result cv2.warpPerspective(img, M, (w, h)) cv2.imwrite(output_path, result)order_points是个自己写的排序函数。approxPolyDP的第二个参数0.02 * peri表示轮廓周长乘以 0.02epsilon 越大多边形越粗糙。0.02 是我试过比较稳的值——四边形的四角不至于被削成五边形也不会因为边缘锯齿产生多余顶点。contourArea排序之后大部分场景下一个四边形就是目标。但如果有应付不了的情况这步最容易出问题的是背景里恰好也有一个规则四边形物体比如窗户、相框。识别它们的区别已经超出“简单图像处理”的范畴了属于内容理解的活。7.2 调参中的几个真实坑这个流程我跑过很多次印象最深的坑有三个。第一findContours找到的最大轮廓经常不是目标而是图像边缘本身。因为画面最外面一圈会形成一条闭合边界面积奇大。解决办法是用contourArea排序后再对前几个轮廓做四边形判断而不是无脑取第一个。第二自适应阈值之后的形态学核大小很关键。核太小文字笔画没连起来边缘图碎了核太大文字和旁边物体黏在一起四边形完全变形。我一般从 5x5 开始试逐步往大到 11x11 甚至 15x15。第三透视变换的四个点是按顺序排的不是随便传给getPerspectiveTransform。源点顺序和目标点顺序必须对应。我的order_points固定返回左上、右上、左下、右下四个点目标矩形也按同样顺序否则输出图会被旋转 90 度或者镜像。这里值得多说一句排序逻辑靠坐标和相加相减来完成不依赖任何外部库改成任何语言都可以复刻。7.3 这个流程的边界在哪里这个流程不是万能的。背景纹理特别复杂、目标与背景颜色接近、或者拍摄角度过正导致四边形退化时效果都会大打折扣。更稳的思路是先用颜色信息缩窄范围——比如用 HSV 锁定名片底色生成一个粗 mask再在这个 mask 内部跑边缘检测和轮廓提取。把颜色先行的思路加进来整个流程的抗干扰能力会明显上一个台阶。这个流程的价值不在于得到一个到处通用的代码而在于演示了“如何把图像处理的基础操作组合成一个有目的性的链路”。你完全可以根据自己的场景替换其中任意一环滤波、阈值、形态学、边缘检测这些积木怎么搭决定了你解决问题的能力有多强。一点实际做完之后的体会整个项目调完那天我把每步的中间结果按顺序存成了 01_origin.jpg、02_gray.jpg、03_binary.jpg、04_morph.jpg、05_edges.jpg。这一步看似笨却是我觉得最值得养成的习惯。因为图像处理流程里“哪一步坏了”特别难一眼看出没有中间结果辅助定位经常调一个参数就要从头跑到尾效率极低。存中间图以后每次只要看一眼文件名就能知道问题出在第几步目标跑偏了是阈值的问题边缘不闭合是形态学的问题轮廓找错是排序的问题。另外一个经验是做这类处理别把参数一次调到位。先在一个可以达到 80 分效果的参数区间跑通再观察差距逐步缩小步长。很多人一上来就执着于精调某个阈值反而忽略了大方向流程本身合不合理操作顺序对不对往往比参数精度更影响结果。如果后面还想继续深挖建议往两个方向走。一个是轮廓分析与几何特征从边缘走向形状描述另一个是把颜色、纹理、形状几个维度组合起来做目标判断。这两条路都是图像处理从“简单”走向“实用”的必经方向也都是在这篇内容基础上自然延伸出去的话题。