简介利用Matlab进行三维重建是计算机视觉与图形学中的典型任务涉及点云获取、表面拟合与可视化呈现对初学者而言门槛较高。这份资源面向具备一定Matlab基础、希望快速上手三维重建的本科生、研究生及工程开发者以经典模型为例演示从离散点云到三角网格的完整重建流程。压缩包共36个文件23个mat文件提供了马、大象、颅骨、斯坦福兔子等多种点云测试数据4个m源文件实现MyCrust核心算法及测试入口4个asv为自动保存备份3个txt说明有助于快速运行2个bmp作为纹理或参考图像整体包体仅9.77MB轻量易获取。已有1005人学习下载资源热度良好。通过运行TestMyCrust.m即可观察不同模型的网格生成效果同时修改MyCrust.m中的半径阈值或点云数据能进一步理解alpha shape等曲面重构原理为学习泊松重建、Delaunay三角化等高阶方法打下基础。1. 用MATLAB做三维重建先想清楚重建什么前几年大家聊三维重建默认是OpenCV写一遍、C调优、再上GPU。现在拿MATLAB做很多人觉得只适合教学演示。但真把一套标定、校正、匹配、三角化的流程跑下来你会发现MATLAB的计算机视觉工具箱把中间最容易出错的坐标系变换封装得很干净适合把精力放在参数调整和效果验证上。本文按我实际做项目的路径走先标定相机再跑通双目立体视觉然后扩展到多视图SfM最后说点云质量怎么验证、怎么导出。这套内容同时适合三维重建与SLAM入门的人和想在Matlab里快速搭重建验证环境的工程师。全程用的都是MATLAB自带的函数和App不需要额外装OpenCV。2. 相机标定是MATLAB三维重建的第一道精度关口2.1 用Camera Calibrator做单目标定三维重建的第一步不是算视差而是先把相机内参和畸变模型定准。内参错了后面所有三角化的射线方向都是偏的视差图再密也没有意义。MATLAB里最常用的做法是用棋盘格标定板拍15到20张不同姿态的图片然后用cameraCalibratorApp或函数批处理。如果习惯命令行可以直接用下面的代码完成检测和参数估计% 读取标定图片 images imageDatastore(calib_images); % 自动检测棋盘格角点返回图像坐标和棋盘规格 [imagePoints, boardSize] detectCheckerboardPoints(images.Files); % 生成棋盘格的世界坐标单位与后面的方框尺寸对应 worldPoints generateCheckerboardPoints(boardSize, squareSize); % 估计相机参数这里设置了3个径向畸变系数 params estimateCameraParameters(imagePoints, worldPoints, ... WorldUnits, mm, NumRadialDistortionCoefficients, 3); % 查看每张图的重投影误差 showReprojectionErrors(params);squareSize是你实际打印的棋盘格小方格边长单位要和WorldUnits一致。建议用毫米。NumRadialDistortionCoefficients设置为3对应k1、k2、k3广角镜头或鱼眼镜头必须给3普通镜头给2也够。estimateCameraParameters默认还会算切向畸变p1、p2这个一般不要改成0否则靠近画面边缘的像素会明显偏。如果用App拍照最容易犯的错是只拍正对被摄物体的图。标定板在画面里的姿态必须覆盖俯仰、左右倾斜和旋转至少有一半图片里的棋盘格占画面三分之一以下否则外参之间的相关性太强内参解会不稳定。2.2 标定结果的三个检验指标标定完不要急着做重建先看三个数平均重投影误差、内参矩阵的像素焦距比值、畸变系数量级。指标合理范围异常时的处理平均重投影误差小于0.5像素最好小于0.3检查角点检测是否准确去掉误差最大的图重新估计fx与fy的比值应该在1±0.01附近除非是特殊镜头若差距过大检查图片分辨率是否被隐式缩放径向畸变k1、k2通常在0.1以下超过0.3要怀疑检测有问题确认标定图数量增加边缘位置的标定图重投影误差是拿估计出的内外参把世界坐标重新投回图像跟检测角点坐标求距离平均。这个值大不一定是标定板打印问题也可能是imageDatastore里的文件顺序和检测顺序不一致导致某几张图配错。一个稳妥做法是每次只保留误差最大的图重新估计一次。2.3 双目立体标定为什么不能跳过切到双目后光有左右各自的内参不够还必须求左右相机之间的旋转R和平移t。在MATLAB里用stereoCameraCalibratorApp或者继续对已经检测好的双目标定图调用estimateCameraParameters使用Stereo, true参数% 左右相机同时采集的图像文件路径一一对应 [imagePointsL, imagePointsR] detectCheckerboardPoints(imagesL.Files, imagesR.Files); [stereoParams, pairIndex] estimateCameraParameters(imagePointsL, imagePointsR, ... WorldUnits, mm, NumRadialDistortionCoefficients, 3);这里stereoParams的类型是stereoParameters里面除了左右内参还有RotationOfCamera2和TranslationOfCamera2。需要特别留意的是左右图像是否在时间上同步。只要左右相机存在轻微延迟人走动时的标定板就会出现位置差异这个误差无法通过算法补偿只能重新采集。移动物体较少时可以把手持标定板静置几秒再拍降低同步问题的影响。3. 在MATLAB里跑通双目立体视觉三维重建3.1 极线校正让对应点只在一行上找拿到stereoParams后下一步是对左右图做极线校正。校正的目的是把左右相机的图像平面重投影成共面且行对准这样视差搜索就从二维降到一维。MATLAB里一句话% 读入左图和右图 I1 imread(left.png); I2 imread(right.png); % 极线校正OutputView决定是否保留完整视野 [rectLeft, rectRight] rectifyStereoImages(I1, I2, stereoParams, ... OutputView, valid); figure; imshow([rectLeft rectRight]);OutputView取值valid会裁掉校正后不规则的边缘好处是没有黑色区域干扰匹配取值full保留全图但左右视野不严格一致后续使用时要小心边界。校正后的图可以用imshow把左右帧横向拼接观察横线是否跨过两张图的相同纹理点。如果标定误差小校正后几乎所有对应点都在同一行上。如果看到明显的上下错位优先回去检查标定图的姿态覆盖。校正前后注意一个细节rectifyStereoImages输出的是uint8彩色图后续做disparitySGM前最好转成单通道灰度降低计算量并且避免彩色通道间匹配不一致。3.2 用disparitySGM计算视差图MATLAB R2016a以后自带SGM算法的实现函数名是disparitySGM。它比传统的块匹配更抗纹理缺失区域而且对重复纹理的抑制更好。基本调用方式% 转灰度做匹配 grayL im2gray(rectLeft); grayR im2gray(rectRight); % 设置视差搜索范围单位为像素 disparityRange [0 128]; % 计算视差图 disparityMap disparitySGM(grayL, grayR, ... DisparityRange, disparityRange, ... UniquenessThreshold, 15, ... DisparitySmoothness, 3.5); % 显示视差图颜色越暖表示越近 figure; imshow(disparityMap, disparityRange); colormap(gca, jet); colorbar;DisparityRange是最关键的参数。范围太小近处的物体显示成空洞范围太大不仅慢还容易在平滑区域产生错误匹配。一个实用经验是先根据场景最近距离粗略估算最大视差公式是视差 基线长度 * 焦距 / 深度近处物体多就把上限加大。UniquenessThreshold用于抑制左右匹配中不可靠的点值越大匹配越保守建议15左右。DisparitySmoothness控制平滑项权重值越小平滑约束越强代价是深度边缘会被磨平室内纹理较乱时我会从1.5、3、6各跑一次对比边缘与空洞。提示disparitySGM返回的视差图里无效像素为0。后续生成点云前建议先对这类孔洞做中值滤波否则会被reconstructScene转成带NaN或极端坐标的点污染整个点云。3.3 reconstructScene从视差生成点云有了视差图和标定参数重建三维坐标就是反投影。MATLAB里用reconstructScene最省力% 根据视差图生成三维场景 pointCloud3D reconstructScene(disparityMap, stereoParams); % 第三维是深度去掉无穷大和无效距离 validPoints isfinite(pointCloud3D(:,:,1)) ... isfinite(pointCloud3D(:,:,3)) ... pointCloud3D(:,:,3) 0; % 用有效坐标构造pointCloud对象 xyzPoints reshape(pointCloud3D, [], 3); xyzPoints xyzPoints(validPoints(:), :); ptCloud pointCloud(xyzPoints, Color, reshape(rectLeft, [], 3)); pcshow(ptCloud);reconstructScene返回的三通道数组里第一、二通道是归一化视差后的X、Y坐标第三通道是深度Z。注意这个Z不是相机真实景深而是从立体几何中解出的深度值。要在点云中叠加颜色直接把左图彩色像素按相同位置附给点云即可。因为视差图与校正后的左图分辨率一致所以reshape(rectLeft, [], 3)能对的上一对一关系。实际跑起来最常见的现象是点云边缘出现一个明显的斜坡或向外飞的点。这通常不是算法问题而是标定板边缘、反光物体造成了误匹配。下一步应该做离群点移除这部分在本文最后一章单独讲。4. 多视图三维重建用MATLAB的SfM做稀疏到稠密重建4.1 特征提取与匹配surf还是klt双目方案只能在相机固定基线内获得场景深度想绕着一个物体多角度重建就得走运动恢复结构SfM路线。MATLAB的多视图重建一般这样组织提取特征、匹配特征、估计本质矩阵、三角化、逐步加入新图像、光束法平差Bundle Adjustment。特征选择上MATLAB里最方便的是SURF% 提取左右或相邻帧的SURF特征 points1 detectSURFFeatures(gray1, MetricThreshold, 2000); points2 detectSURFFeatures(gray2, MetricThreshold, 2000); % 计算特征描述子 [features1, validPts1] extractFeatures(gray1, points1); [features2, validPts2] extractFeatures(gray2, points2); % 通过最近邻比率匹配 indexPairs matchFeatures(features1, features2, ... MaxRatio, 0.7, Unique, true);MaxRatio控制最近邻距离与次近邻距离的比值越小匹配越严格。对室内场景0.7比较均衡如果纹理弱调到0.85会更多匹配但误匹配率上升。SURF对尺度变化有较好的适应能力但视角变化超过30度时退化明显所以相邻帧不要隔太久。视频序列里的任务我会先尝试vision.KLT跟踪特征点跟踪得到的特征时间连续性好但漂移积累后必须靠重三角化滑动窗口修正。对图像集SfMSURF加matchFeatures更省心。4.2 用estimateEssentialMatrix和triangulate做增量式重建两帧之间的重建流程我一般按下面的顺序组织% 先估计基础矩阵和本质矩阵选出内点 [fMatrix, epipolarInliers] estimateFundamentalMatrix(... validPts1, validPts2, Method, RANSAC, ... NumTrials, 2000, DistanceThreshold, 0.01); inlierPts1 validPts1(epipolarInliers, :); inlierPts2 validPts2(epipolarInliers, :); % 用标定的内参求本质矩阵 E estimateEssentialMatrix(inlierPts1, inlierPts2, cameraParams); % 从本质矩阵恢复相对位姿 [R t] [relR, relT] relativeCameraPose(E, cameraParams, ... inlierPts1, inlierPts2); % 构造成相机矩阵并三角化 camMatrix1 cameraMatrix(cameraParams, eye(3), [0 0 0]); camMatrix2 cameraMatrix(cameraParams, relR, relT); worldPoints triangulate(inlierPts1, inlierPts2, ... camMatrix1, camMatrix2);这里triangulate在给了两个相机矩阵后返回每个匹配点对对应的三维坐标。注意worldPoints默认是在以第一帧相机坐标系为准的三维坐标后续增加第三帧时要继续用PnP方式估算新相机的位姿再和现有三维点做匹配扩展地图点。这个过程完全公开没必要自己硬推方程。每加入一帧后要调用一次bundleAdjustment。MATLAB的bundleAdjustment函数可以同时优化相机位姿和三维点坐标迭代次数用默认即可但一定要开启Verbose, true看看重投影误差是否下降。如果误差反而增大说明新帧的初始位姿估计不准最常见原因是特征匹配时没有先做极线距离约束。4.3 稀疏点云到稠密化的取舍增量SfM直接得到的是特征点位置的稀疏点云。对建筑物这类平面较多的结构稀疏点云已经能回归出主要轮廓但对细腻表面就需要再做稠密重建。MATLAB本身没有开放的MVS多视角立体算法常见做法是只输出相机位姿和稀疏点云然后导出到OpenMVS或COLMAP里做稠密化。这一步本质上是把MATLAB当作前端和标定工具不做稠密匹配数据格式上记得保留每个关键帧的内参和畸变系数。如果你的MATLAB版本带深度学习工具箱也可以用depthnet类模型尝试单目估算深度再融合多视角深度图。但这类深度估计属于另一个问题域精度上限比多视角立体低不适合做尺寸精确的重建。我一般只在快速预览时用它。5. MATLAB三维重建质量的验证与三个落地技巧5.1 用已知尺寸物体验证重建尺度在正式导出前拿一个已知长度的物体放入场景比如在标定板旁边放一把尺子或一张A4纸重建出来的点云里量两点间的3D欧氏距离与真实尺寸对比。比如用pcnormals和最近点选择函数交互选点再用pdist2量距离。误差在1%以内说明整个标定与视差链路可信误差超过3%先查基线设置和标定板方格边长。5.2 点云离群点滤波与法向修正点云里总会有误匹配造成的飞点MATLAB里可以直接用pcdenoise% 移除距离邻域平均位置过远的点 ptCloudFiltered pcdenoise(ptCloud, Threshold, 0.5, ... NumNeighbors, 10);Threshold是一个标准差倍率越大保留点越多。边角料场景我会先设0.3再逐步调大。滤波后如果法向方向不一致还需要用pcnormals重新估计法向并检查法向是否全部指向观察相机一侧否则后续曲面重建会出现扇面错乱。5.3 导出ply/pcd给外部工具用的细节MATLAB最终输出点云用pcwrite最快pcwrite(ptCloudFiltered, reconstruction.ply, Encoding, binary);导出前一定要先确认点云坐标单位。reconstructScene输出的Z单位取决于标定时WorldUnits的选择通常是毫米。很多下游渲染工具默认单位是米直接导入会差1000倍。我的习惯是在导出前把点云整体缩放再在文件名里标注单位避免同事拿到数据还要猜。这样一套流程下来从标定、重建到点云验证的闭环就完整了。本文还有配套的精品资源点击获取