简介本资源面向计算机视觉初学者与从事双目立体视觉开发的工程师提供一套基于VS2013与OpenCV3.0的立体标定与校正完整工程。内容围绕左右相机采集的棋盘格标定图像展开完成相机参数求解、立体标定与极线校正为后续立体匹配和三维重建奠定基础适合需要动手实践双目视觉流程的读者。压缩包共251个文件约29.64MB以hpp与h头文件为主辅以png标定图像、lib与dll运行库、cmake构建脚本、yml参数文件及sln工程文件另含可执行程序与日志目录结构完整便于直接编译运行与二次开发。目前已有1738人学习下载读者可从中获取从标定图像输入到校正结果输出的完整代码链路理解OpenCV立体视觉模块的调用方式并借助现成工程快速验证自己的标定数据减少环境配置与接口调试的试错成本。1. 双目视觉立体标定与校正从「能跑通」到「测得到」的分水岭很多团队第一次搭双目系统时都会经历同一个场景两个相机单独看图像都挺清楚可一旦跑视差图深度值要么整体飘、要么边缘糊成一团调参数调到怀疑人生。问题往往不在匹配算法而在立体标定与校正这一步没做扎实。双目视觉的核心不是「两个相机」而是「两个相机之间的几何关系」——内参决定单个相机怎么把三维点投到像素平面外参决定左右相机之间的旋转和平移校正则把这对相机虚拟成理想平行光轴模型让极线变成水平线。只有这一步做对了后面的立体匹配、点云重建、测距才有意义。这篇文章面向正在做双目测距、三维重建、机器人避障的工程师从标定板选型、采集、求解、校正到验证把可复现的路径和血泪坑一次讲清。2. 立体标定到底在标什么内参、外参与畸变模型2.1 四个坐标系与两组参数双目立体标定的本质是求解左右相机各自的内部参数以及两者之间的相对位姿。常见做法是先用单目标定分别得到左右相机的内参矩阵和畸变系数再用同一组标定板图像求左右相机之间的旋转矩阵 R 和平移向量 T。内参矩阵包含焦距 fx、fy 和主点 cx、cy畸变系数通常用径向畸变 k1、k2、k3 和切向畸变 p1、p2 描述。外参则描述右相机相对于左相机的位姿T 的模长就是基线长度这个值直接决定深度测量范围和精度。提示基线不是越大越好。基线增大能提升远距离精度但会加剧遮挡和匹配难度常见室内场景基线在 60mm 到 200mm 之间。2.2 为什么必须做立体校正即使左右相机安装得再正也几乎不可能做到光轴严格平行、成像平面严格共面。立体校正的作用是通过两个虚拟旋转矩阵把左右图像重新投影到一个理想的双目模型上光轴平行、极线水平、主点对齐。校正后同一个三维点在左右图中的像只存在水平方向差异这个差异就是视差。视差与深度的关系是 Z f * B / d其中 f 是校正后的焦距B 是基线d 是视差。没有校正匹配算法就要在二维空间搜索对应点计算量爆炸且容易误匹配。2.3 标定板选型与采集规范标定板常见有棋盘格、圆点阵列、Charuco 板。棋盘格角点检测成熟、精度稳定是多数场景的首选。Charuco 板在部分遮挡和低分辨率下更鲁棒适合大视场或相机畸变较大的情况。采集时要注意标定板要覆盖图像不同区域包括四角和中心每个姿态要有明显倾斜不要只在一个平面内平移左右相机必须同时采集同一姿态保证外参求解时对应关系正确。一般建议 15 到 30 组有效图像太少会导致参数不稳定太多则引入运动模糊和重复姿态。3. 用 OpenCV 跑通双目标定从采集到参数文件3.1 单目标定先让每个相机自己站直单目标定的目标是得到每个相机的内参和畸变系数。下面这段代码用棋盘格做单目标定输入是某个相机的一组标定图像输出是内参矩阵和畸变系数。import cv2 import numpy as np import glob # 棋盘格内角点数量例如 9x6 表示每行9个内角点每列6个 pattern_size (9, 6) # 棋盘格方格实际物理尺寸单位毫米 square_size 25.0 # 生成棋盘格三维坐标 objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objp * square_size objpoints [] # 三维点 imgpoints [] # 二维像素点 images glob.glob(left/*.png) for fname in images: img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, corners cv2.findChessboardCorners(gray, pattern_size, None) if ret: # 亚像素优化提升角点精度 criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) corners2 cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) objpoints.append(objp) imgpoints.append(corners2) # 单目标定 ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None ) print(内参矩阵:\n, mtx) print(畸变系数:, dist.ravel())这段代码的关键在 cornerSubPix 亚像素优化它把角点定位精度从像素级提升到亚像素级直接影响后续标定精度。square_size 必须和实际打印尺寸一致单位统一用毫米否则平移向量的尺度会错。如果 findChessboardCorners 返回 False先检查棋盘格是否完整出现在画面内、光照是否均匀、是否有明显反光。3.2 双目标定求 R、T 和校正映射左右相机各自单目标定完成后用双目标定函数求外参和校正参数。# 假设已经分别得到左右相机的 objpoints、imgpoints # 以及各自的内参 mtx_l、dist_l、mtx_r、dist_r ret, mtx_l, dist_l, mtx_r, dist_r, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_l, imgpoints_r, mtx_l, dist_l, mtx_r, dist_r, gray.shape[::-1], flagscv2.CALIB_FIX_INTRINSIC # 固定单目标定结果只优化外参 ) print(旋转矩阵 R:\n, R) print(平移向量 T:\n, T) print(基线长度:, np.linalg.norm(T))flags 的选择很关键。CALIB_FIX_INTRINSIC 表示固定单目标定得到的内参只优化外参适合单目标定结果已经比较可靠的情况。如果图像质量一般可以用默认 flags 让双目标定同时微调内参和外参但要注意可能过拟合。T 的模长就是基线单位与标定板尺寸一致。3.3 立体校正与参数保存得到 R、T 后用 stereoRectify 计算校正映射再用 initUndistortRectifyMap 生成查找表。R1, R2, P1, P2, Q, roi1, roi2 cv2.stereoRectify( mtx_l, dist_l, mtx_r, dist_r, gray.shape[::-1], R, T, alpha0 # 0表示校正后图像只保留有效像素1保留全部 ) map1_l, map2_l cv2.initUndistortRectifyMap( mtx_l, dist_l, R1, P1, gray.shape[::-1], cv2.CV_16SC2 ) map1_r, map2_r cv2.initUndistortRectifyMap( mtx_r, dist_r, R2, P2, gray.shape[::-1], cv2.CV_16SC2 ) # 保存参数后续直接加载 np.savez(stereo_params.npz, mtx_lmtx_l, dist_ldist_l, mtx_rmtx_r, dist_rdist_r, RR, TT, R1R1, R2R2, P1P1, P2P2, QQ, map1_lmap1_l, map2_lmap2_l, map1_rmap1_r, map2_rmap2_r)alpha 参数控制校正后图像的有效区域。alpha0 时只保留左右相机都能看到的区域图像会被裁剪但不会出现黑边alpha1 时保留全部像素但边缘会有大量黑色无效区域。实际项目中我一般先用 alpha0 跑通确认极线对齐后再根据视场需求调整。Q 矩阵用于后续 reprojectImageTo3D 生成三维点云。4. 校正效果验证别只看重投影误差4.1 极线对齐检查校正是否成功最直观的验证是极线对齐。在左右校正后的图像中取同一场景的特征点它们的 y 坐标应该基本一致。可以用下面的代码画水平线辅助检查。import cv2 import numpy as np params np.load(stereo_params.npz) img_l cv2.imread(left.png) img_r cv2.imread(right.png) # 应用校正映射 rect_l cv2.remap(img_l, params[map1_l], params[map2_l], cv2.INTER_LINEAR) rect_r cv2.remap(img_r, params[map1_r], params[map2_r], cv2.INTER_LINEAR) # 拼接并画水平线 h, w rect_l.shape[:2] canvas np.hstack([rect_l, rect_r]) for y in range(0, h, 40): cv2.line(canvas, (0, y), (2 * w, y), (0, 255, 0), 1) cv2.imwrite(rectified_check.png, canvas)如果同一物体在左右图中的高度差超过 2 到 3 个像素说明校正参数有问题常见原因是单目标定内参不准或采集时左右相机不同步。这个检查比看重投影误差更直接因为重投影误差小不代表极线一定对齐。4.2 重投影误差与基线一致性stereoCalibrate 返回的 ret 是整体重投影误差一般要求小于 0.5 像素理想情况小于 0.2。但要注意重投影误差是平均指标个别姿态误差大也会被平均掉。建议打印每个姿态的误差剔除明显异常的图像后重新标定。基线长度要和实际测量值对比如果标定得到的基线与卷尺测量值差异超过 5%说明标定板尺寸或角点检测有问题。4.3 深度验证用已知距离物体反查最终验证是拿一个已知距离的物体看视差计算出的深度是否准确。在校正后的图像上取物体中心点用 stereoBM 或 SGBM 算视差再用 Q 矩阵重投影。stereo cv2.StereoSGBM_create( minDisparity0, numDisparities128, # 必须是16的倍数 blockSize5, P18 * 3 * 5 ** 2, P232 * 3 * 5 ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32 ) gray_l cv2.cvtColor(rect_l, cv2.COLOR_BGR2GRAY) gray_r cv2.cvtColor(rect_r, cv2.COLOR_BGR2GRAY) disparity stereo.compute(gray_l, gray_r).astype(np.float32) / 16.0 points_3d cv2.reprojectImageTo3D(disparity, params[Q]) # 取图像中心点的三维坐标 h, w disparity.shape center_3d points_3d[h // 2, w // 2] print(中心点三维坐标 (mm):, center_3d)numDisparities 决定最大可测视差范围也就决定最近可测距离。blockSize 影响匹配窗口大小太小噪声大太大边缘模糊。P1、P2 是平滑惩罚项一般按 blockSize 的平方倍数设置。如果深度值整体偏大或偏小先检查 Q 矩阵是否用当前校正参数生成再检查基线单位是否统一。5. 避坑与排查双目标定最常见的五个翻车现场5.1 现象校正后极线明显不水平左右图高度差大原因通常是左右相机采集不同步标定板在两次拍摄之间发生了移动。也可能是单目标定内参不准导致 stereoRectify 求解的虚拟旋转矩阵有偏差。解决方法是改用硬件同步触发或者用同一帧分屏采集重新做单目标定确保每张图角点检测都准确剔除模糊和过曝图像。5.2 现象重投影误差很小但实际测距误差很大这是最迷惑人的坑。重投影误差小只说明标定板角点拟合得好不代表极线对齐和深度尺度正确。常见原因是标定板尺寸设置错误比如实际方格 25mm 却写成 30mm导致平移向量尺度整体偏移。解决方法是拿卷尺实测基线和已知距离物体反查尺度是否一致。另一个原因是校正后图像被裁剪主点偏移Q 矩阵与实际图像不匹配。5.3 现象视差图大面积黑色或空洞先检查 numDisparities 是否覆盖了实际视差范围。如果物体太近视差超过 numDisparities就会算不出。可以增大 numDisparities但要注意它是 16 的倍数且增大会增加计算量。另一个原因是校正后图像边缘无效区域太大匹配窗口落在无效区。可以用 alpha0 裁剪有效区域或者在匹配前把无效区域掩掉。5.4 现象标定结果每次都不一样参数不稳定标定图像姿态太单一比如标定板始终平行于相机平面只做平移。这样外参求解会退化R 和 T 不稳定。解决方法是采集时让标定板有不同倾斜角度覆盖图像四角和中心至少 15 组有效姿态。另外角点检测的亚像素优化参数不要随意改默认的 30 次迭代和 0.001 精度对多数场景够用。5.5 现象远距离测距飘忽近距离还行这是基线太短或相机分辨率不够导致的。深度精度与基线、焦距成正比与视差精度成反比。如果基线只有 60mm焦距 500 像素1 个像素的视差误差在 5 米处可能对应几十厘米的深度误差。解决方法是增大基线或换更高分辨率相机也可以在匹配阶段用亚像素插值提升视差精度。但要注意增大基线会加剧遮挡不是所有场景都适用。6. 进阶技巧用 Charuco 板和亚像素优化把精度再压一档棋盘格在图像边缘畸变大的区域角点检测容易偏。Charuco 板结合了棋盘格和 ArUco 标记即使部分角点被遮挡也能稳定识别适合大视场和广角镜头。OpenCV 的 aruco 模块提供了 Charuco 标定接口流程和棋盘格类似但角点检测更鲁棒。我一般会在以下情况优先用 Charuco相机畸变明显、标定板无法完整出现在画面、需要现场快速标定。另一个提升精度的手段是亚像素级视差优化。SGBM 输出的视差是整数或半像素用 filterSpeckles 去噪后可以用二次曲线拟合在视差方向做亚像素插值。这一步能把深度精度提升 20% 到 30%代价是少量计算开销。代码上可以在 reprojectImageTo3D 之前对 disparity 做一次亚像素细化或者直接用 cv2ximgproc 里的滤波模块。最后说一个我自己的习惯每次标定完一定拿一个已知尺寸的物体放在 1 米、2 米、5 米处各测一次记录误差。如果 5 米处误差超过 2%就回头检查基线和标定板尺寸。标定参数文件一定带时间戳和相机序列号保存换相机、动镜头、摔一下都要重新标定。双目系统没有后悔药标定这一步偷懒后面所有深度值都是玄学。希望帮到你。本文还有配套的精品资源点击获取