1. 视觉SLAM到底在解决什么问题先把需求想清楚再谈算法聊视觉SLAM之前我更愿意先说清楚它到底在干什么。一句话概括让一台只有摄像头的设备在完全陌生的环境里一边走一边算出自己在哪儿、朝向哪同时把周围环境的三维结构画出来。在哪儿叫定位周围什么样叫建图两件事耦合在一起同时求解就是SLAMSimultaneous Localization and Mapping同步定位与建图。加上视觉两个字意味着主要传感器是相机——单目、双目、RGB-D或者相机加IMU的组合。它解决的问题很实在。GPS在室内、地下车库、隧道、高楼夹缝里基本废掉轮式里程计打滑就漂激光雷达贵且重。相机便宜、功耗低、信息量大一个几百块的模组就能提供百万级的像素观测。所以从扫地机器人、仓储AGV到无人机、AR眼镜再到车载定位盒子视觉SLAM都是绕不开的一块拼图。这篇文章适合谁看如果你刚翻完《视觉SLAM十四讲》的目录知道李群李代数但不知道工程上怎么落地那这篇是给你写的如果你已经在RK3588或者i.MX95这类板子上跑过VINS被时间戳和标定折磨过那可以重点看第3、5、7章如果你只是想评估我的项目要不要上视觉SLAM那第1章和第6章能帮你少走半年弯路。下面我不按教科书的顺序讲而是按一个真实的项目从需求到落地的顺序拆。1.1 把一帧画面拆开从像素到六自由度位姿假设相机在走廊里往前挪了半步。摄像头拍到的新画面和上一帧相比墙角的边缘往画面外侧移动了若干像素地砖的纹理被拉长了远处的东西几乎没动。这个近处动得多、远处动得少、沿着运动方向的点向外扩散的模式就是极几何要描述的东西。工程上的做法是先在两帧里找出一批能稳定复现的特征点角点、边缘交点、斑点把它们配对然后解一个本质矩阵或者基础矩阵恢复出两帧之间的旋转和平移。这一步只给出相对位姿和方向单目还有个致命的坑——尺度不可观。也就是说你算出往前走了1个单位但这个单位是米还是厘米单目自己不知道。传统解法是靠初始化时的平移量人为定标或者引入IMU、轮速、已知尺寸的物体来锚定尺度。从像素回到三维中间要穿过一串坐标变换像素坐标 → 归一化平面 → 相机坐标系 → 机体坐标系 → 世界坐标系。每一层变换都有对应的参数和误差来源这也是为什么第2章我要专门把相机模型讲透——标定不准后面所有优化都是在优化一个错误的模型。提示很多人一上来就调ORB-SLAM的参数结果跑出来尺度乱跳、轨迹歪斜八成不是算法问题是标定和时间戳的问题。先把这两件事做对再谈调参。1.2 为什么非要视觉和激光、轮速、GPS的互补关系我常被问有激光雷达了还要视觉干嘛。答案不是替代是互补。激光雷达给的是精确的几何深度点云稠密、尺度天然可观测、不受光照剧烈影响缺点是贵、重、在长走廊和空旷场地容易退化几何特征单一ICP配不准而且它拿不到纹理和语义。视觉恰恰相反便宜、轻、纹理信息丰富能认出这是门、这是货架但在弱纹理白墙、强逆光、快速运动模糊的场景下会失效单目还有尺度问题。轮式里程计在平整地面上精度很高但打滑、悬空、原地转圈就崩。IMU高频、短时精度好能扛住快速旋转和短暂遮挡但零偏会随时间积分漂移。GPS/RTK在室外空旷处能给绝对位置进隧道就断。所以现实中的方案基本都是多传感器融合视觉提供环境约束和回环能力IMU提供高频姿态和尺度先验轮速或激光提供尺度与几何约束GPS提供全局锚点。理解这一点你才不会纠结我的方案是不是纯视觉才正宗——工程上没人这么较劲。1.3 能力边界与三个常见误区误区一以为SLAM能给出绝对精度。SLAM本质是相对约束下的最大后验估计它优化的是内部一致性。你把轨迹整体旋转5度重投影误差照样很小。要绝对精度必须有外部锚点。误区二以为建出来的地图可以直接导航用。稀疏特征点地图是给优化器用的人眼根本看不懂要让机器人避障规划得额外做稠密重建或者栅格化、ESDF、语义地图这是另一套工程。误区三以为换个更贵的相机就能解决问题。我见过团队花大价钱换全局快门相机结果发现主要误差来自相机和IMU之间那几毫秒的硬件时间戳偏差。方向错了钱白花。注意动手前先写一页纸明确三件事——精度要求厘米还是分米、环境特征纹理多不多、光照稳不稳、算力预算板子能跑多少帧、多少特征点。这三条决定了你后面所有的技术选型。2. 视觉SLAM的数学模型相机模型、坐标系与状态估计这一章是整篇文章里最硬的部分但它决定了你在调试时能不能定位到根因。我尽量不用公式堆砌而是讲清楚每个量在工程上的物理含义以及你会怎么用到它。2.1 针孔相机模型与内参矩阵从三维点到像素最基础的成像模型是针孔模型。空间点 P 在相机坐标系下的坐标是 (X, Y, Z)投影到归一化平面得到 (X/Z, Y/Z)再乘上内参矩阵 K 变成像素坐标 (u, v)u fx * X/Z cx v fy * Y/Z cy四个参数的含义必须记牢fx、fy 是焦距在像素单位下的表示物理焦距除以像元尺寸cx、cy 是光心在图像上的像素坐标。理想情况下 cx、cy 接近图像宽高的一半但实际模组装配有偏差。这里有个容易忽略的点Z 做分母。Z 越小物体越近同样的三维误差在像素上的放大倍数越大。这就是为什么近处的噪声点会严重污染优化结果也是为什么前端做特征匹配时要设一个深度上限把太近的点剔掉。内参从哪来标定。棋盘格或者圆点板采集十几到几十张不同姿态的图像用张正友标定法解。OpenCV 里calibrateCamera一把梭但前提是采集质量要好棋盘格要铺满画面的各个区域四角尤其重要畸变在边缘最严重姿态要覆盖俯仰、偏航、滚转多个角度不能全是一个平面平移。实测经验至少采集 20 张覆盖画面 80% 以上区域重投影误差控制在 0.3 像素以内算合格超过 0.5 像素就重拍。别嫌麻烦这一步花两小时后面能省两天。2.2 畸变模型与标定实操径向畸变和切向畸变真实镜头不是理想针孔光线穿过镜片会产生弯曲。主要两类径向畸变由透镜形状引起画面边缘的直线会向外鼓桶形或向内收枕形。用 k1、k2、k3 三个系数描述通常 k1 起主导作用。切向畸变由镜头和成像平面不平行引起用 p1、p2 描述。现在模组工艺好了切向畸变一般很小但广角镜头上仍明显。标定的时候有个取舍用几个畸变系数。用太多k1 k2 k3 p1 p2容易过拟合用太少边缘残差大。我的经验是普通视角镜头FOV 60 度以内用 k1 k2 p1 p2 就够鱼眼或广角FOV 120 度以上得用鱼眼模型equidistant或者加 k3否则去畸变后边缘还是弯的。另外一个高频坑标定和运行时的分辨率必须一致。你用 1920×1080 标定运行时改成 640×360 跑内参和畸变系数全都不对了。必须按比例缩放 fx、fy、cx、cy畸变系数不变。# 分辨率缩放时内参的换算1920x1080 - 640x360缩放因子 1/3 scale 640.0 / 1920.0 fx_new fx * scale cx_new cx * scale # fy、cy 同理 # 畸变系数 k1 k2 p1 p2 k3 保持不变2.3 位姿怎么表示旋转矩阵、四元数与李群李代数位姿 旋转 平移。旋转有三种常见表示表示方式参数个数优点缺点旋转矩阵 R9直接可作用于向量无奇异有正交约束优化时需额外处理欧拉角3直观万向节死锁插值不自然四元数4无奇异插值平滑存储紧凑有单位模长约束符号二义旋转向量轴角3无约束适合做优化变量大角度时数值敏感优化的核心矛盾在这里旋转矩阵和四元数都有约束正交、单位模长带约束优化很难做旋转向量没有约束但它对旋转的表示不唯一、在 ±π 附近有奇异。李群李代数就是来解决这个矛盾的。李群 SO(3) 是合法的旋转集合李代数 so(3) 是它对应的切空间一个三维向量空间。核心结论在单位元附近旋转矩阵和旋转向量是一一对应的指数映射你可以对李代数做加法、求导、优化然后指数映射回李群自然满足约束。SE(3) 同理处理旋转加平移。工程上你不需要手推雅可比但要知道Sophus、g2o、Ceres都封装好了你只需要理解优化变量在流形上更新这件事——更新量是李代数上的一个小增量 δ而不是直接加到旋转矩阵的九个元素上。为什么这件事重要因为它直接决定了你的优化能不能收敛。早期我试过直接把四元数四个分量当自由变量丢给优化器不加约束结果迭代几十次后四元数模长飘到 1.3轨迹直接乱飞。2.4 重投影误差与最小二乘整个优化框架的心脏视觉SLAM几乎所有后端优化都围绕重投影误差展开。定义很朴素一个三维地图点被观测到通过当前估计的位姿投影到图像上和实际检测到的像素位置之间的差就是重投影误差。e z_observed - π(T, P)其中 π 是投影函数含内参和畸变T 是待估位姿P 是世界坐标下的地图点。整个问题变成找一组位姿和地图点让所有观测的重投影误差平方和最小。这就是非线性最小二乘用高斯牛顿或者列文伯格-马夸尔特LM迭代求解。这里要讲清楚BABundle Adjustment光束法平差把位姿和地图点一起优化。数学上它对应一个巨大的稀疏矩阵因为每个观测只关联一个位姿和一个点所以雅可比矩阵极其稀疏。工程上用 Schur 补消元先解位姿再回代求点复杂度从 O(n³) 降到可控。一个实操心得别一上来就全局 BA。地图点几万个、关键帧几百个的时候一次全局 BA 在某些板子上要跑十几秒。正确做法是滑动窗口局部 BA只优化最近若干关键帧和它们看到的点加边缘化把老状态消掉但保留其信息全局 BA 只在回环后触发一次。ORB-SLAM 和 VINS 都是这个套路。3. 算法框架拆解前端、后端、回环与建图现在把整套系统拆成四大模块。这个划分方式不是学术分类而是工程上真实解耦的结果——每一块可以单独替换、单独调参、单独定位问题。3.1 前端视觉里程计特征点法、直接法、半直接法怎么选前端负责从图像里提取约束输出相邻帧之间的相对运动估计和一部分地图点。三条技术路线各有各的脾气。特征点法提取角点ORB、SIFT、SURF、SuperPoint做描述子匹配然后解极几何或者 PnP。优点是成熟、鲁棒、对光照变化有一定容忍度、能直接接回环检测的词袋模型。缺点是特征提取本身耗时ORB 在 ARM 上提 1000 个点大概几毫秒到十几毫秒且在弱纹理场景下提不出足够的点。ORB-SLAM 系列是这条路线的代表。直接法不提取特征直接假设同一个空间点投影到两帧上的灰度应该一样灰度不变假设最小化光度误差。优点是能用上所有像素信息弱纹理场景表现好速度快。缺点是对光照变化极其敏感要求相机曝光必须锁死、自动增益关掉且需要较好的初始值否则很容易掉进局部极小。DSO、LSD-SLAM 是代表。半直接法提取特征点但不算描述子只用来做光流跟踪和位姿初估然后用直接法优化光度误差。SVO 是典型代表速度极快在无人机上很受欢迎。缺点是回环和重定位能力相对弱早期版本甚至没有后端。我的选型建议很直接板子算力一般如 RK3588 单核跑、场景纹理丰富、需要长期稳定建图 →特征点法场景纹理弱白墙、金属地面、相机曝光可控、追求高帧率 →直接法无人机、对延迟极敏感、不需要大范围重定位 →半直接法实操禁忌用直接法千万别开相机的自动曝光和自动白平衡。这两个功能会让同一场景的灰度随环境变化直接破坏灰度不变假设算法直接崩。上机第一件事就是锁死曝光时间和增益。3.2 后端滤波还是非线性优化后端负责把前端零散的约束整合成一致的轨迹。两大流派滤波方法以 EKF-SLAM、MSCKF 为代表。核心思想是递归地维护状态和协方差来一帧更新一次。优点是计算量恒定内存可控适合嵌入式。MSCKF 把地图点边缘化掉只保留滑动窗口内的相机位姿是 VIO 里的经典。非线性优化方法以 BA 为代表。每次优化一个窗口内的所有状态可以多次迭代精度更高。缺点是计算量随窗口增长需要控制规模。现在的主流是优化方法原因有二一是关键帧 滑动窗口 边缘化这套组合拳把计算量压下来了二是优化能多轮迭代、能处理非高斯噪声、能做鲁棒核函数抗外点。滤波方法受限于一阶线性化在大不确定度场景下精度明显吃亏。但这不代表滤波没用。在算力极其受限的平台上MSCKF 依然是很好的选择它比完整 BA 轻得多。选型时要看你的板子到底是几个核、有没有 NPU 帮忙。3.3 回环检测让轨迹不漂成一个圈没有回环检测的 SLAM 只能叫里程计。你绕着一栋楼走一圈回到起点纯里程计的估计位置会离起点几米远因为累积误差从不修正。回环检测就是认出这个地方我来过然后加一条全局约束把整条轨迹拉回来。主流做法是词袋模型BoW。先把大量图像特征聚类成视觉单词视觉词典生成一个大的树形结构。每帧图像的特征点查词典得到一串单词构成一个向量。两帧的相似度就是这两个向量的距离。DBoW2/DBoW3 是最常用的实现ORB-SLAM 就靠它。但纯词袋会误检——走廊、重复的货架、相似的房间都会给出高相似度。所以必须加几何一致性校验候选回环帧和当前帧之间做一次特征匹配 估计相对位姿如果内点数够多、位姿合理才认为回环成立。深度学习方法这几年也进来了NetVLAD、用 CNN 提取全局描述子。优点是能抗光照和视角变化缺点是模型大、推理慢在 RK3588 这种板子上要跑 NPU 才划算。我的建议是如果场景是固定的、光照可控的传统词袋足够如果是室外、跨季节、光照剧变再考虑学习类方法。回环成立后加什么约束两种位姿图优化Pose Graph Optimization或全局 BA。位姿图只优化关键帧位姿把地图点边缘化掉速度快、适合在线全局 BA 精度更高但更重一般在建图结束后离线跑一次。3.4 建图你要的到底是什么地图建图这个词被用得太泛了实际项目里它至少分四种需求完全不同地图类型内容用途典型方案稀疏点云几百到几千个特征点给优化器提供约束ORB-SLAM 自带稠密点云/网格百万级点、三角网格三维重建、可视化DSO、MVS、TSDF栅格地图二维占据栅格机器人导航避障点云投影 占据栅格语义/拓扑地图带标签的对象 节点连接高层任务理解、路径规划检测网络 地图融合很多团队踩的坑是用稀疏点云地图去做导航规划结果机器人不知道怎么绕障碍。稀疏点云只是优化副产品不是给人用的地图。要导航必须做稠密化或者栅格化。做稠密地图在嵌入式上代价不小。RGB-D 相机可以直接拿到深度相对轻松单目靠三角化只能得到稀疏深度要做深度估计网络或滤波才能稠密化算力压力大。如果板子只有 RK3588 级别的算力我一般建议二维栅格化 少量语义标签性价比最高。4. 主流开源方案怎么选从 ORB-SLAM 到 VINS 的实战对照纸上谈完落到我到底用哪个开源库。这一章把我实际跑过、帮人调过的方案做个横向对比包括各自的坑。4.1 单目/双目/RGB-D 的经典方案盘点ORB-SLAM2 / ORB-SLAM3目前最成熟的视觉 SLAM 开源框架支持单目、双目、RGB-D还有视觉惯性和多地图合并ORB-SLAM3。优点是模块清晰、回环重定位完整、社区活跃、资料多。缺点是代码风格偏老、编译依赖重要求 OpenCV、Eigen、Pangolin、DBoW2 版本匹配在嵌入式上跑要裁剪。我的经验是功能验证用 ORB-SLAM3落地部署用裁剪版或者 VINS。VINS-Mono / VINS-Fusion视觉惯性紧耦合方案单目IMU 或双目IMU。香港科技大学沈劭劼团队出品在无人机和移动机器人上应用极广。核心是滑动窗口 边缘化 紧耦合优化 在线外参标定 回环。优点是精度高、能在线估计 IMU 零偏和外参对时间戳同步要求相对宽容。缺点是初始化需要一段足够的激励运动要动起来才收敛静止启动会失败。DSO直接法代表单目。速度极快、弱纹理表现好。缺点是没有回环、尺度不可观、对曝光敏感、代码可读性一般。OpenVINSMSCKF 的现代实现滤波路线适合算力受限的平台。精度不如优化方法但资源占用低。Basalt基于非线性优化的 VIO用了一堆先进技巧如非参数化光度标定性能不错但生态和资料相对少。4.2 视觉惯性紧耦合为什么 IMU 是视觉的好搭档先说清楚松耦合和紧耦合。松耦合是把视觉估计的位姿和 IMU 积分结果用滤波做加权融合当成两个独立测量紧耦合是把 IMU 预积分残差和视觉重投影残差放进同一个优化问题里一起解。紧耦合的好处是信息互相修正视觉帮 IMU 估零偏IMU 帮视觉提供尺度、姿态先验、抗短暂遮挡。代价是系统更复杂、调参更多、初始化更难。IMU 预积分是个关键技巧。原始 IMU 数据是 200Hz 甚至 1000Hz如果每次优化都把上千个测量重新积分一遍计算量爆炸。预积分就是把两个关键帧之间的 IMU 测量预先积成一个相对运动约束优化时直接用它不用重新积分。这个约束还给出了协方差用作优化的信息矩阵。启动流程一般是先等 IMU 静止几秒估计零偏视觉静止判据然后要求设备做一段有平移和旋转的激励运动用视觉的结构和 IMU 的积分结果做对齐解出尺度、重力方向、初始速度。这段初始化如果不成功后面全是白费。常见坑很多人拿手机或者小设备做测试初始化时只是拿在手里轻微晃平移激励不足尺度估不准。要么放在小车上走一段要么手持做明显的画八字动作。4.3 和激光/轮速融合LIO 路线与多源组合纯视觉在城市道路、隧道、空旷场地都有失效风险所以现在车载和机器人上流行LIOLiDAR-Inertial Odometry 视觉回环的组合。典型是 LIO-SAM、FAST-LIO2 加视觉做回环检测。激光保证几何精度视觉保证长时间不漂。车载场景还有 TBox 加组合导航的方案TBox 拿到车辆总线上的轮速、方向盘转角加上惯导和视觉做组合定位。这种方案的好处是能拿到绝对位置锚点RTK 可用时在隧道里靠视觉和 IMU 短时递推顶过去。选型对照表方案传感器精度算力需求回环适合场景ORB-SLAM3单/双/RGB-D IMU高中高有通用、建图、研究VINS-Fusion单/双目 IMU高中有无人机、移动机器人DSO单目中低无弱纹理、快速场景OpenVINS单/双目 IMU中低无嵌入式、算力受限FAST-LIO2 视觉回环激光 IMU 相机很高高有车载、大场景4.4 选型时的三个自问第一问我的场景有 IMU 吗能同步吗有 IMU 且时间戳能对齐优先 VIO没有 IMU只能纯视觉那就要接受尺度问题和更大的漂移。第二问我要不要回环如果只在局部区域来回运动比如机械臂抓取、桌面级 AR可以不要回环简单很多。如果要大范围长时间运行回环是刚需。第三问我的板子能跑多少这个最容易被低估。ORB-SLAM3 在 x86 台式机上跑 30fps 很轻松但在 ARM 板子上特征提取 描述子匹配 局部 BA 加起来很容易超过 33ms。要么降分辨率、降特征点数要么换更轻的方案。5. 嵌入式部署实战RK3588 与 i.MX95 上跑视觉 SLAM 的注意点这一章讲落地。论坛上讨论最多的板子就是 RK3588 和 i.MX95 这类前者有 6TOPS 级别的 NPU 和强劲的多核 CPU后者偏向车规和工业场景。两台我都碰过坑也踩了不少。5.1 算力与接口盘点为什么这些平台能跑视觉 SLAMRK3588 是 4 核 A76 4 核 A55带 NPU 和较强的 GPU。对视觉 SLAM 来说几个关键点CPU 单核性能决定前端特征提取和匹配的速度。ORB 提取是单线程为主所以高主频比多核更有用。把前端绑到 A76 大核上实测能比绑小核快 40% 以上。NPU可以拿去跑深度特征提取、深度估计、语义分割把 CPU 腾出来做优化。MIPI CSI 接口数量决定你能接几个相机。做双目或者多目全景必须提前数清楚有几路 CSI 和能不能同时用。内存带宽在做稠密建图时是瓶颈图像拷贝、去畸变、金字塔构建都吃带宽。i.MX95 这类偏车规的芯片特点是接口丰富、温度范围宽、功能安全相关设计更完整适合车载 TBox 和工业设备。视觉 SLAM 上它的绝对算力可能不如 RK3588但胜在稳定性和长期供货。5.2 相机接入与时间同步IIC/SPI 用在哪里这一块很多人搞混。先分清楚IICI2C两根线时钟数据多设备共享总线靠地址区分。速度一般几百 kHz 到 1MHz。在相机系统里IIC 主要用来配置摄像头模组的寄存器——设置分辨率、帧率、曝光、增益、输出格式。它传的是控制命令不是图像数据。SPI四根线时钟、主出从入、主入从出、片选速度可以到几十 MHz。在相机系统里SPI 有时用来传配置但更多用在外围器件IMU很多 IMU 支持 SPI 和 IIC 两种接口、闪存、显示屏。SPI 速率高但引脚多、不适合挂很多设备IIC 引脚少但慢、总线负载有限。实际选型经验IMU 优先用 SPI。因为 IMU 输出频率高200Hz 到 1kHzIIC 在某些实现下会因为总线仲裁和中断延迟导致采样抖动时间戳不稳。SPI 全双工、速率高、时序更确定采样抖动小得多。相机配置寄存器用 IIC 就够因为配置是一次性的不要求实时。时间同步是 VIO 的命门。硬件上理想做法是用一个外部信号同时触发相机曝光和给 IMU 打时间戳比如 MCU 输出同步脉冲这样两路数据的时间基准天然一致。软件上退而求其次是用相机驱动的时间戳一般来自 VSYNC 中断和 IMU 的时间戳做对齐但要注意相机时间戳可能是帧开始曝光也可能是帧传输完成差一帧的曝光时间几十毫秒的误差足够毁掉 VIO。IMU 时间戳如果是驱动收到数据才打的会带上总线传输和系统调度的抖动。两个时钟源如果来自不同晶振还会有频率偏差长时间运行会漂。血泪提醒如果你的 VIO 跑起来姿态总是有点歪、快速旋转时误差大先去查时间戳。把相机和 IMU 的数据录下来用同一段运动做离线对齐看看最优时间偏移是多少。我遇到过一次硬件上差了 25ms 没发现调了两周算法都没用。5.3 性能优化从分辨率到算子加速板子上跑不动的时候按下面顺序优化从便宜到贵降分辨率。从 1280×720 降到 640×480前端耗时直接降一半以上。代价是远距离特征点变少精度略降。但对室内机器人和多数场景640×480 完全够用。限制特征点数量和分布。ORB-SLAM 默认每帧提 1000 到 2000 个点实际室内场景 500 个就够。做网格化均匀提取避免所有点挤在纹理丰富的角落。调低后端频率。局部 BA 不必每帧都跑可以隔一两帧跑一次或者在关键帧到来时才跑。位姿递推用前端的速度就够了。图像金字塔层数减少。ORB 默认 8 层金字塔构建金字塔很耗时。降到 4 层对精度影响有限。把去畸变和金字塔构建放进 GPU/NPU或者在相机 ISP 里直接输出已校正的图像。多线程注意线程局部存储。前端跟踪和后端优化通常跑在不同线程临界区加锁会影响实时性。一些不共享的中间缓冲区比如每次迭代的临时向量、每个线程的特征容器可以用thread_local声明避免反复分配和锁竞争。这个小技巧在多线程 SLAM 里挺实用。// 每个跟踪线程独立的临时缓冲区避免跨线程加锁 thread_local std::vectorcv::KeyPoint local_keypoints; thread_local std::vectorcv::Mat local_descriptors; void trackFrame(const cv::Mat img) { local_keypoints.clear(); local_descriptors.clear(); extractor-detectAndCompute(img, cv::noArray(), local_keypoints, local_descriptors); // ... 后续处理全程不涉及共享状态 }5.4 实测记录与调参心得拿一台 RK3588 板子单目 640×480 30fps跑裁剪过的 ORB-SLAM 风格前端 轻量后端实测数据大概是特征提取与匹配 8 到 12ms局部 BA窗口 10 帧15 到 25ms 且只在关键帧触发回环检测用独立的低频线程1Hz主线程平均负载 40% 到 60%。这个余量足够再加一路语义分割。几个调参心得特征点阈值别一次调到位。先跑默认值看轨迹和重投影误差再逐步调整。一次性改三个参数出了问题根本不知道是哪个。关键帧插入策略影响巨大。插太密后端吃不消插太稀跟踪容易丢。常用判据是当前帧和上一关键帧的共视点少于阈值或者平移超过一定比例就插一帧。回环检测独立线程 降频。1Hz 足够因为它只是偶尔修正全局没必要每帧都查。看 CPU 占用要分核看。top看到的平均占用可能只有 50%但某个大核已经跑满实时性照样崩。用htop或者mpstat -P ALL看每个核。6. 应用场景全景从扫地机到车载定位盒子技术最终要落到场景里。这一章把主要的应用形态过一遍每类场景我会说清楚它的核心技术诉求因为不同场景对 SLAM 的要求差异极大。6.1 移动机器人与 AGV/AMR稳定大于精度扫地机器人、仓储 AGV、服务机器人是视觉 SLAM 最大的落地市场。这类场景的特点是运动慢、地形平、环境相对结构化、成本敏感、要求长时间无故障运行。核心技术诉求是稳定不是极限精度。厘米级到分米级的定位精度配合轮速里程计做融合就足够导航了。多数产品用的是视觉 IMU 轮速 激光低端用结构光或者 ToF的组合纯视觉单打独斗的少。一个关键设计是重定位能力。机器人在充电桩待机后重新启动必须能立刻知道自己在地图的哪个位置不能每次都重新建图。这要求地图持久化存储 全局重定位词袋检索 PnP。ORB-SLAM3 的多地图和重定位功能在这里很有价值。另一个是动态环境。仓库里有人走动、有叉车经过这些动态物体如果被当成静态特征会严重污染位姿估计。常见做法是加一个动态点剔除模块用语义分割识别出人、车把落在这些区域的点排除或者用几何方法如对极约束下残差过大的点剔除。6.2 无人机与手持设备快、轻、抗抖动无人机上的视觉 SLAM 要满足三个字轻、快、稳。重量上每克都有代价功耗直接影响续航所以算法要极简。SVO 类的半直接法在这里有优势速度快、算力需求低。无人机场景的特殊难点是运动剧烈快速旋转、大机动、图像模糊。这要求 IMU 融合必须紧耦合且 IMU 的性能要好消费级 IMU 的零偏噪声大得做在线估计。另外无人机的振动环境对相机和 IMU 的机械固定要求很高松动了外参就变了。手持设备和穿戴设备AR 眼镜的特点是运动不确定、场景变化快、要求低延迟。AR 场景对延迟极其敏感超过 20ms 的定位延迟就会让人觉得虚拟物体飘。这类设备往往用视觉惯性里程计做前端配合预先构建或者实时构建的稀疏地图做重定位。6.3 AR/VR 与三维重建地图质量的战场AR/VR 对 SLAM 的要求和机器人不一样它不需要导航需要的是高精度的位姿 可用的空间地图用于遮挡、碰撞、放置虚拟物体、平面识别。位姿精度上AR 追求的是视觉上的稳即虚拟物体牢牢贴在真实表面上不能有抖动和漂移。为此要做的是局部地图的高频优化 位姿的平滑滤波。地图上需要平面检测、语义理解这是桌子、这是地板、这是墙才能让交互合理。三维重建是另一个方向用 SLAM 提供的位姿把多视角图像融合成稠密点云或网格用于数字孪生、文物数字化、房产建模。这类应用通常可以离线处理所以可以用更重的算法如 MVS、NeRF 类方法在线只需要采集图像和位姿。这里的工程重点是全局一致性。重建一栋楼如果轨迹有 1% 的漂移首尾接不上模型就会扭曲。所以必须做回环 全局 BA 位姿图优化必要时还要人工加约束比如已知某些点共线、某个面是平面。6.4 车载 TBox 与组合导航视觉作为冗余车载场景这两年讨论比较多的是 TBox 加组合导航的定位方案。TBox 是车上的通信与计算盒子能拿到车辆总线的信息车速、轮速、方向盘角度、档位加上 IMU、GNSS有时还接一路相机做视觉辅助。为什么车载要视觉主要是GNSS 失效时的补位地下车库、隧道、城市峡谷。这时候靠 IMU 递推会很快漂移轮速在打滑时不可靠视觉能提供额外的环境约束把漂移拉慢。另外视觉还能帮忙检测车道线、识别地面标志做地图匹配。车载场景的视觉 SLAM 有几个特殊要求一是大场景、长时间需要频繁回环和地图管理二是光照剧变从隧道出来瞬间曝光从暗到亮直接法会崩特征点法相对抗打三是功能安全不能出现定位跳变导致下游控制误动作所以通常要做多源一致性校验视觉结果和 IMU/GNSS 差异过大时降权或者丢弃。视觉在车载定位里通常扮演冗余和辅助的角色而不是主定位源。这个大方向要认清别把视觉当成能替代 RTK 的东西。7. 常见问题与排查技巧实录最后这一章是最实用的部分都是我在实际项目里踩过的坑和总结的排查路径。7.1 初始化失败VIO 启动不收敛怎么办症状启动后一直卡在初始化阶段或者初始化成功了但尺度明显不对走几步就发散。排查顺序IMU 静止判据是否满足。多数 VIO 需要静止几秒估零偏。如果设备一直在动或者振动大比如放在运行中的电机旁边判据过不去。实际做法是启动后先放稳看日志里零偏估计是否收敛。激励是否足够。初始化需要足够的平移和旋转。拿着设备原地转圈不算因为平移几乎为零尺度不可观。要拿着走几步或者放在小车上走一段直线加转弯。时间戳偏移是否过大。前面说过超过十几毫秒的偏移会让初始化失败。用离线工具很多 VIO 项目自带估计时间偏移。外参是否合理。相机和 IMU 的相对位姿如果给得太离谱比如旋转差 90 度初始化根本对不上。有在线外参估计的方案能自适应但初值也不能太离谱。图像质量。曝光过度、运动模糊、图像太暗特征提不出来初始化自然失败。7.2 跟踪丢失与尺度漂移运行中的典型故障跟踪丢失是最常见的故障。原因可能是画面里特征太少对着白墙、快速运动导致模糊、遮挡有人走过、光照突变。工程上的应对是多级降级策略跟踪正常时用局部地图跟踪变差时降低对地图点的依赖切换到纯帧间跟踪彻底丢失时进入重定位模式词袋检索 PnP重定位失败则重置。这个状态机必须提前设计好不能等出问题再补。尺度漂移是另一类问题。VIO 的尺度靠 IMU如果 IMU 标定不准、零偏估计不准尺度会慢慢变化。表现是走一段直线后地图整体缩小或者放大。排查方向检查 IMU 的噪声参数零偏随机游走、白噪声是否和实际器件匹配。这些参数通常来自 Allan 方差标定用错参数会导致滤波器过度自信或者过度怀疑。实操技巧用 Allan 方差工具很多 IMU 厂商提供标定 IMU得到零偏不稳定性、随机游走等参数写进配置文件。凭经验拍脑袋填参数是很多 VIO 调不好的根源。重投影误差突然变大一般是出现了外点或者位姿估计错误。检查是否开启了鲁棒核函数如 Huber、Cauchy核函数能有效压制外点影响。另外检查动态物体剔除逻辑是否生效。7.3 问题速查表现象可能原因排查动作初始化一直不成功激励不足、时间戳偏移、IMU 零偏未收敛走一段明显运动、离线估时间偏移、静止等待轨迹整体偏斜外参不准、时间戳偏差重标定外参、估计时间偏移尺度忽大忽小IMU 参数不匹配、尺度可观性差Allan 方差标定、增加平移激励跟踪频繁丢失纹理少、运动快、曝光不当检查图像质量、降运动速度、锁曝光回环误检场景重复、几何校验不足提高相似度阈值、加内点校验地图重影回环未触发、位姿图未优化检查回环模块、跑全局 BA板子上卡顿特征点太多、分辨率过高、后端频率高降分辨率、减特征点、降后端频率位姿跳变外点污染、协方差估计过小开鲁棒核、检查信息矩阵我个人在实际项目中的体会是视觉 SLAM 的调试有 70% 的时间花在数据没对齐和标定不准这两件事上真正算法层面的问题反而少。所以我的习惯是接手一个新项目先不看算法先把相机标定、IMU 标定、时间同步这三件事做干净把录制的数据写成TUM或者EuRoC格式用第三方工具如evo算轨迹误差把基线建立起来。基线不清楚任何优化都只是碰运气。另外分享一个小技巧录制数据的时候尽量设计几种典型运动——静止、慢速平移、原地旋转、快速转弯、经过弱纹理区域、经过强光区域。每种录两三分钟。这样当算法出问题时你能快速定位到是哪类运动导致的而不是在一大段杂乱数据里大海捞针。这套自建数据集比任何公开数据集都更贴合你的场景也更有诊断价值。