相机标定、棋盘格角点检测与重投影误差通俗总结目录标定到底在做什么棋盘格为什么有自己的坐标系斜着拍时为什么棋盘格坐标的 Z 仍为 0OpenCV 的“实际检测角点”是什么没有畸变参数时怎样检测角点“模型预测角点位置”是什么意思预测时输入序号还是具体坐标检测点不是真值为什么还能标定左目、右目和双目 RMS 的原理RMS 和极线误差的区别去畸变前后对角点检测的影响完整标定流程最核心的理解1. 标定到底在做什么相机标定的目的是找到一套数学参数尽可能准确地描述真实相机的成像过程。主要参数包括焦距fx、fy主点cx、cy畸变参数k1、k2、p1、p2、k3...每张标定图中棋盘格相对于相机的旋转和平移Ri、ti可以把整个过程理解为已知棋盘格在现实中的规则结构 检测棋盘格角点在照片中的像素位置 建立一个虚拟相机模型 ↓ 不断调整相机参数 ↓ 让虚拟相机预测的位置尽量靠近照片中的检测位置2. 棋盘格为什么有自己的坐标系棋盘格是一块尺寸已知、平整、不会变形的标定板。假设每个格子边长是 30 mm可以人为把第一个内部角点定义为原点编号0 编号1 编号2 (0,0,0) (30,0,0) (60,0,0) 编号3 编号4 编号5 (0,30,0) (30,30,0) (60,30,0)每个角点都有一个具体的三维坐标[P_{board}(X_b,Y_b,Z_b)]因为所有角点都在同一块平板上所以[Z_b0]这里的Zb0只表示角点没有离开棋盘格平面。它不表示角点距离相机为 0。3. 斜着拍时为什么棋盘格坐标的 Z 仍为 0这是两个不同坐标系的问题。3.1 棋盘格坐标系无论棋盘格怎么移动和旋转某个角点在棋盘格自身坐标系里的位置不变。例如[P_b(60,30,0)]你把棋盘格正放、斜放、竖放这个角点依然是(60,30,0)因为它相对于棋盘格原点没有移动。3.2 相机坐标系同一个点在相机坐标系中的位置为[P_cRP_bt]其中R棋盘格相对于相机的旋转t棋盘格相对于相机的平移Pc(Xc,Yc,Zc)角点在相机坐标系中的坐标斜着拍时虽然所有角点的棋盘格坐标Zb0但它们在相机坐标系中的深度Zc通常不同。例如棋盘格左侧角点Zc 900 mm 棋盘格右侧角点Zc 1100 mm所以棋盘格坐标系中的 Zb 0 不等于 相机坐标系中的 Zc 相同4. OpenCV 的“实际检测角点”是什么标准标定时OpenCV 直接在原始、带畸变的图像中检测角点。原始带畸变图像 ↓ 转为灰度图 ↓ 检测黑白棋盘格交叉位置 ↓ 得到角点的二维像素坐标例如[p_{obs}(500.4,300.2)]它表示OpenCV 在原始照片中观察到这个棋盘格交叉点位于横坐标 500.4、纵坐标 300.2。坐标可以是小数因为 OpenCV 可以使用亚像素优化例如cornerSubPix。“实际检测位置”更准确的叫法是观测位置。它不是绝对无误的真值仍然可能受到模糊、噪声、反光等影响。5. 没有畸变参数时怎样检测角点角点检测不需要提前知道焦距或畸变参数。它主要依赖局部像素的亮暗变化。棋盘格角点附近通常是白 白 白 │ 黑 黑 黑 白 白 白 │ 黑 黑 黑 ─────────┼───────── 黑 黑 黑 │ 白 白 白 黑 黑 黑 │ 白 白 白它的特点是水平方向亮度明显变化垂直方向亮度也明显变化四个象限呈现黑白交替结构可以通俗地理解为只有一个方向亮度变化明显 → 边缘 两个方向亮度都变化明显 → 角点镜头畸变会把角点搬到别的位置也会让方格发生变形但局部的黑白交叉结构通常仍然存在因此 OpenCV 可以直接在原始图中检测。6. “模型预测角点位置”是什么意思模型预测不是再看一次图像而是一个纯数学计算。假设某个角点在棋盘格坐标系中的位置是[P_b(60,30,0)\text{ mm}]OpenCV 当前有一套估计参数相机内参fx、fy、cx、cy 畸变参数k1、k2、p1、p2... 棋盘格姿态R、t它进行以下计算棋盘格三维坐标 (60,30,0) ↓ 使用 R、t 转换到相机坐标系 ↓ 使用 K 进行针孔透视投影 ↓ 使用 D 加入镜头畸变 ↓ 得到原始图中的预测像素位置例如预测得到[p_{proj}(500.9,299.8)]这表示如果当前的焦距、主点、畸变和棋盘格姿态都是正确的那么这个角点应该出现在原始照片的(500.9,299.8)。预测时会加入畸变因为预测结果要和原始畸变图中的观测位置比较。7. 预测时输入序号还是具体坐标真正参与投影计算的是角点的具体三维坐标不是单独的序号。例如编号6 对应棋盘格三维坐标(60,30,0) mm 对应图像观测坐标 (500.4,300.2) px序号的作用只是保证三维点和二维点正确配对object_points[6] ↔ image_points[6]例如object_points[[0,0,0],[30,0,0],[60,0,0],[0,30,0],[30,30,0],[60,30,0],]二维检测结果image_points[[220.3,180.1],[265.7,176.8],[309.4,173.2],[224.8,221.5],[269.1,217.3],[312.2,213.0],]真正的几何对应关系是(60,30,0) mm ↔ (312.2,213.0) px8. 检测点不是真值为什么还能标定你的疑问是如果角点检测本身有误差OpenCV 让预测结果靠近错误检测点不就学错了吗答案是会受到影响但 OpenCV 不是只依赖一个点而是利用大量角点和大量图片寻找整体最合理的参数。例如30 张图片 每张 54 个角点 总共 1620 个二维观测不同角点的检测误差可能是角点1偏左 0.2 px 角点2偏右 0.3 px 角点3偏上 0.1 px 角点4偏下 0.2 px如果这些误差主要是随机的它们不会全部把参数推向同一个错误方向。同时一套相机参数必须解释所有角点所有图像位置所有距离所有倾斜角度某一套错误参数也许能很好解释一张图片但很难同时解释几十张不同姿态的图片。因此 OpenCV 做的是找到一套让全部观测总体误差最小的参数而不是让某一个点完全重合。但如果存在系统性错误例如棋盘格不平整棋盘格打印尺寸不准图像普遍严重模糊所有角点都因反光向同一方向偏标定板只出现在图像中央使用了错误的镜头模型那么标定结果确实可能有偏差。所以 RMS 小不代表绝对真值正确只代表模型对当前检测数据拟合得较好。9. 左目、右目和双目 RMS 的原理9.1 单个角点误差假设观测位置[p_{obs}(500.4,300.2)]模型预测位置[p_{proj}(500.9,299.8)]横向误差[\Delta u500.4-500.9-0.5]纵向误差[\Delta v300.2-299.80.4]单个角点的二维重投影误差[e\sqrt{(\Delta u)^2(\Delta v)^2}]代入[e\sqrt{(-0.5)20.42}\approx0.64\text{ px}]9.2 整体 RMS所有角点的误差平方后求平均再开平方[\mathrm{RMS}\sqrt{\frac{\sum_{i1}^{N}\left[(u_i-\hat u_i)^2(v_i-\hat v_i)^2\right]}{N}}]先平方的原因是正负误差不会互相抵消大误差会受到更强惩罚9.3 左目 RMS例如left_rms_px 0.54196表示所有左目标定图、所有左目角点的观测位置与预测位置之间整体 RMS 约为 0.542 像素。9.4 右目 RMS例如right_rms_px 0.50535表示所有右目标定图、所有右目角点的观测位置与预测位置之间整体 RMS 约为 0.505 像素。9.5 双目 RMS例如stereo_rms_px 0.55299在固定左右内参时OpenCV 主要估计左右相机之间固定的外参[R_{left\rightarrow right},\quad T_{left\rightarrow right}]同时要求同一块棋盘格 同一对左右图 固定的左右内参 所有图片共用同一个双目 R、T能够同时解释左右图中的角点。所以双目 RMS 是左右相机所有重投影误差在统一双目刚性关系约束下的整体 RMS。双目 RMS 比单目 RMS 略大是正常现象因为双目标定增加了约束自由度更少。10. RMS 和极线误差的区别重投影 RMS 衡量的是已知棋盘格三维点 → 使用 K、D、R、t 投影到图像 → 和实际检测点比较极线误差衡量的是双目矫正后[e_{epi}|v_L{rect}-v_R{rect}|]指标含义左目 RMS左相机模型对左目角点的拟合程度右目 RMS右相机模型对右目角点的拟合程度双目 RMS固定双目刚性关系后左右联合拟合程度极线误差双目矫正后对应点是否位于同一水平线因此[\text{stereo RMS}\neq\text{极线误差}]11. 去畸变前后对角点检测的影响不能简单说完全没有影响。11.1 角点是否还是同一个是同一个物理角点但它在两个图像坐标系中的位置不同。例如原始畸变图中 (500.4,300.2) 去畸变图中 (520.1,306.5)这不代表一个对、一个错只是坐标系不同。11.2 检测成功率畸变较小时原图可以检测 去畸变图也可以检测差别可能不大。畸变很大时边缘方格会严重拉伸、压缩或弯曲去畸变后形状变规则可能提高检测成功率。11.3 定位精度不一定提高去畸变需要重映射和插值原始像素 → 映射到新位置 → 新位置不是整数像素 → 使用附近像素进行插值这可能导致边缘变软插值模糊噪声重新分布边缘区域被拉伸所以去畸变后几何形状更规则但不保证角点亚像素定位一定更准确。定位精度可能提升基本不变略微下降11.4 标定时为什么使用原始图标准流程仍然是原始畸变图 → 直接检测角点 → 拟合 K、D原因是原图是传感器直接采集的数据没有额外重采样标定本来就是要学习原始图的畸变在求出畸变参数前也无法正确去畸变12. 完整标定流程12.1 数据准备已知棋盘格内部角点行列数每个格子的真实尺寸棋盘格为平面刚体生成棋盘格三维坐标(0,0,0) (30,0,0) (60,0,0) ... (0,30,0) (30,30,0) ...12.2 在原始图中检测角点原始带畸变图 → 根据黑白像素变化检测角点 → 亚像素优化 → 得到 imagePoints12.3 建立对应关系棋盘格三维点 objectPoints ↕ 图像二维观测 imagePoints12.4 优化参数OpenCV 同时估计所有图片共享 K、D 每张图片独立 Ri、ti目标是让三维点经过 R、t、K、D 投影后的预测位置 尽量靠近 图像中检测到的观测位置12.5 输出结果输出相机内参畸变参数每张图片的棋盘格姿态重投影 RMS双目标定还会输出左右相机之间的旋转R左右相机之间的平移T12.6 独立验证不要只看 RMS还应使用未参与标定的新图片验证去畸变后直线是否变直双目矫正后极线是否水平中央与四角误差是否一致已知尺寸测量是否准确动态情况下是否受同步和滚动快门影响13. 最核心的理解13.1 三种坐标不要混淆棋盘格坐标 角点在标定板上的真实位置 例如 (60,30,0) mm 相机坐标 角点相对于相机的位置 例如 (-120,-50,900) mm 图像坐标 角点在照片中的像素位置 例如 (500.4,300.2) px它们之间的关系是[P_cRP_bt]然后[P_c\xrightarrow{K,D}p_{image}]13.2 角点检测与相机参数是两件事角点检测 从照片的黑白像素变化中找到交叉点 不需要 K、D 模型预测 使用棋盘格三维坐标、R、t、K、D 计算角点应该出现在原图哪里13.3 畸变位置不是错误位置原始畸变图中的角点位置是镜头真实成像后的结果。标定要学习的是什么样的镜头模型能够把规则棋盘格投影成照片中观察到的样子。13.4 标定结果是估计值OpenCV 并不知道绝对真值它利用已知的棋盘格几何结构 大量二维观测 不同角度、距离和图像区域 相机成像模型求出一套整体最合理的参数。最终一句话总结棋盘格告诉 OpenCV 每个角点在现实中怎么排列原始图像告诉 OpenCV 这些角点经过真实镜头后落在了哪些像素位置标定程序则不断调整焦距、主点、畸变和棋盘格姿态让虚拟相机的预测尽量贴近真实图像中的观测。