目录1. 核心基础针孔相机模型1.1 四大坐标系1.2 透视投影公式2. 实际成像的畸变模型2.1 径向畸变2.2 切向畸变3. 光学成像模型辐射度/传感器模型3.1 薄透镜模型3.2 点扩散函数3.3 传感器响应与颜色4. 扩展与前沿模型4.1 全景与鱼眼相机模型4.2 事件相机模型4.3 计算机图形学中的成像模型5. 总结与应用成像模型是计算机视觉、图形学和摄影测量学的基石它描述了三维世界中的物体如何映射到二维图像平面上的数学关系。一个完整的成像模型通常由几何模型描述位置映射和光学/辐射模型描述亮度/颜色两部分组成。下面我将从最经典的针孔模型出发逐步扩展到实际物理成像中的复杂因素。1. 核心基础针孔相机模型针孔模型是最简单、最理想的成像模型。它假设光线通过一个无限小的“针孔”后在成像平面上形成倒立的像。1.1 四大坐标系为了数学化地描述成像过程通常需要建立四个坐标系世界坐标系三维空间中的绝对坐标描述物体在真实世界中的位置。相机坐标系以相机光心为原点​轴为光轴的坐标系。图像坐标系建立在成像平面上的物理坐标系单位是毫米或米原点在光轴与平面的交点主点。像素坐标系最终数字图像的实际坐标单位是像素原点通常在图像的左上角。1.2 透视投影公式在理想针孔模型下忽略畸变且假设像平面在光心之前以消除倒像世界点 P 到像素点 p 的映射关系可以用齐次坐标表示为R,t外参世界坐标系到相机坐标系的旋转矩阵和平移向量。它们决定了“相机在哪朝哪看”。内参。f是物理焦距​是单位像素在x和y方向上的尺寸。这解决了物理长度到像素的转换。是主点坐标通常是图像中心在像素坐标系中的位置。s尺度因子由于深度未知像素坐标只与深度成比例。2. 实际成像的畸变模型理想针孔模型假设光线沿直线传播但真实光学镜头存在加工和组装误差导致畸变。畸变是非线性的通常发生在将相机坐标系投影到图像坐标系之后。2.1 径向畸变由于镜头形状透镜曲率引起图像像素点沿径向方向移动。分为桶形畸变图像中心放大率高边缘低常见于广角镜头。枕形畸变图像中心放大率低边缘高常见于长焦镜头。数学模型通常取前3项其中是径向畸变系数。2.2 切向畸变由于镜头与成像平面传感器不平行引起造成图像产生“切向”位移。数学模型其中是切向畸变系数。总畸变模型就是将上述两个畸变叠加修正后的坐标再用于后续计算。3. 光学成像模型辐射度/传感器模型几何模型解决了“点在哪里”的问题而光学模型解决了“这个点有多亮/是什么颜色”的问题。这涉及到物理光线的传递。3.1 薄透镜模型在真实相机中针孔被透镜取代以增加进光量。薄透镜模型近似了真实镜头的行为遵循高斯透镜方程其中 u 是物距v 是像距。该模型引入了景深概念——只有位于特定距离的物体才能清晰成像偏离该距离会产生弥散圆Circle of Confusion。3.2 点扩散函数在实际光学系统中一个理想的三维点光源经过成像系统后不会成为一个理想的点而会扩散成一个模糊斑。这通常由点扩散函数描述。在理想对焦情况下受限于衍射极限PSF表现为艾里斑。在离焦情况下PSF近似为一个圆形光斑圆盘函数。3.3 传感器响应与颜色量子效率传感器将光子转换为电子的效率。颜色过滤阵列由于传感器本身只感应强度通常使用拜耳阵列Bayer Pattern来获取颜色然后通过去马赛克算法重建彩色图像。辐射响应函数描述传感器输出的像素值 I 与入射辐照度 E 之间的非线性映射If(E)。在相机标定中有时需要标定该函数以实现高动态范围成像或精确光度测量。4. 扩展与前沿模型4.1 全景与鱼眼相机模型对于视场角超过180度的鱼眼镜头针孔模型不再适用因为 r 会趋于无穷。需要使用专门的模型等距投影等立体角投影正交投影4.2 事件相机模型传统的“帧”相机是按固定时间间隔曝光。事件相机Dynamic Vision Sensor模拟人眼视网膜每个像素独立工作只在检测到亮度变化对数域时输出“事件”。其模型关注的是时序对比度而不是绝对强度。4.3 计算机图形学中的成像模型在渲染中成像模型通常指渲染方程它描述了从点 p 沿方向射出的辐射率等于自发光加上从各个方向入射的光线经过双向反射分布函数BRDF调制后的积分。5. 总结与应用成像模型的核心作用体现在以下领域领域主要应用相机标定通过求解内参、外参和畸变系数建立像素与世界坐标的映射关系如张正友标定法。三维重建利用多视角几何对极几何、三角测量从二维图像恢复三维结构SFM、SLAM。计算摄影利用点扩散函数进行图像去模糊利用辐射响应进行高动态范围合成。自动驾驶融合激光雷达点云与相机图像需要精确的联合标定即相机与激光雷达的外参模型。总而言之成像模型是一个从“几何投影”到“物理光学”再到“传感器信号处理”的多层次数学模型。理解这一模型是进行图像处理、计算机视觉算法设计以及摄影测量工作的前提。