简介这份资源面向希望用ORB SLAM2处理自采图像序列的视觉SLAM学习者与开发者解决从视频抽帧到构建可运行数据集、再到跑通定位建图流程的实际问题适合已了解SLAM基本概念、需要动手实践的中级读者。压缩包为gz格式共4个文件约4.38MB包含2个Python脚本、1个mp4视频和1个txt文件脚本用于视频逐帧提取与rgb.txt时间戳文件生成视频提供原始素材txt则记录图像路径与时间戳构成ORB SLAM2可直接读取的输入。已有5382人学习下载说明该流程在入门实践中需求较高。资源围绕特征检测与匹配、关键帧选择、跟踪定位、闭环检测、重定位、稀疏建图与全局优化等环节帮助读者理解如何修改配置文件参数并观察终端输出与轨迹结果从而把自定义场景接入ORB SLAM2形成从数据准备到运行验证的完整闭环。1. 用 ORB-SLAM2 跑自己的图片序列从“跑通 demo”到“跑通自己的数据”手里有一批自己拍的图片序列想用 ORB-SLAM2 跑出轨迹和稀疏点云结果一上手就卡在配置文件上——这是绝大多数人第一次脱离官方示例数据集时的真实处境。ORB-SLAM2 本身是一套成熟的视觉 SLAM 系统支持单目、双目和 RGB-D 三种模式但它对输入数据的“约定”非常硬图像命名要连续、时间戳要能对上、相机内参和畸变系数必须准确、配置文件里的路径不能有中文和空格。这些约定在官方示例里都被提前满足了换成自己的数据就全暴露出来。这篇笔记面向已经装好 ORB-SLAM2、想拿自己采集的图片序列跑出结果的人把配置文件怎么改、命令行怎么传、跑崩了看哪里按可复现的顺序拆开讲。2. 先搞清楚 ORB-SLAM2 吃什么样的图片序列2.1 三种模式对输入的要求差异ORB-SLAM2 的单目、双目、RGB-D 三种模式对图片序列的组织方式要求完全不同选错模式是新手最常见的翻车点。单目模式只需要一个目录下的连续图片系统自己完成初始化尺度不可观测双目模式要求左右目图片分别放在两个目录且同一帧的左右图文件名必须能对应上RGB-D 模式要求彩色图和深度图分别成目录且深度图必须是 16 位单通道 PNG单位是毫米。很多人拿手机拍的普通照片直接往 RGB-D 模式里塞深度图根本不存在程序在读取第一帧时就抛异常。判断自己该用哪种模式看采集设备普通单摄像头或手机后摄走单目双目摄像头或两个同步相机走双目带深度传感器的设备结构光、ToF 一类走 RGB-D。单目虽然尺度缺失但对数据要求最低适合先验证流程是否跑通。我一般建议先用单目把自己的序列跑一遍确认图像读取、特征提取、初始化都正常再切到双目或 RGB-D 去调精度。2.2 图片命名与时间戳的硬约束ORB-SLAM2 读取图片序列时按文件名排序后逐帧加载它不读 EXIF 时间戳也不做任何插值。这意味着文件名必须是等长、可字典序排序的比如000001.png、000002.png而不是1.png、10.png、2.png——后者排序会变成 1、10、2帧序直接错乱轨迹会跳得莫名其妙。这是血泪经验里最容易被忽略的一条图像内容没问题命名毁所有。常见做法是用脚本批量重命名补零到固定位数。下面这段 Python 把目录里的图片按原始顺序重命名为六位补零格式同时保留扩展名import os img_dir /data/my_sequence/rgb exts (.png, .jpg, .jpeg) files [f for f in os.listdir(img_dir) if f.lower().endswith(exts)] # 按修改时间排序保证与采集顺序一致若已有正确顺序可改为 sorted(files) files.sort(keylambda f: os.path.getmtime(os.path.join(img_dir, f))) for idx, name in enumerate(files, start1): ext os.path.splitext(name)[1].lower() new_name f{idx:06d}{ext} os.rename(os.path.join(img_dir, name), os.path.join(img_dir, new_name))这段脚本的关键在排序依据如果采集时文件名本身有序直接用sorted(files)如果文件名是相机自动生成的乱序串用修改时间更稳。{idx:06d}保证六位补零帧数超过一百万也不会错位。重命名前务必先备份os.rename是不可逆操作。2.3 相机内参和畸变系数从哪来ORB-SLAM2 的配置文件TUM1.yaml这类里Camera.fx、Camera.fy、Camera.cx、Camera.cy和Camera.k1、k2、p1、p2这几项直接决定特征点反投影的准确性。内参错了特征点匹配还能跑但位姿会系统性偏移点云会扭曲成“香蕉形”。内参不能靠猜要么用标定板跑一遍标定常见做法是 OpenCV 的棋盘格标定流程要么从设备厂商的规格书里拿。手机摄像头的内参尤其不能直接套用示例文件里的数值焦距差一倍都很正常。配置文件里还有Camera.fps、Camera.RGB彩色图是否按 RGB 顺序存储OpenCV 读进来是 BGR这里一般填 0和ORBextractor.nFeatures等参数。nFeatures默认 1000纹理弱的场景可以提到 15002000代价是每帧耗时上升。畸变系数如果设备已经做过去畸变输出k1、k2、p1、p2 全填 0 即可但要在采集端确认确实做了校正否则等于把畸变当成了真实几何。3. 配置文件与命令行把路径、模式、参数一次配对3.1 复制示例配置并逐项替换不要直接改官方示例的 yaml复制一份出来改避免污染原始文件。以单目为例从ORB_SLAM2/Examples/Monocular/下复制TUM1.yaml为自己的my_mono.yaml然后逐项替换。需要改的核心项如下表配置项含义常见取值/注意Camera.fx/fy焦距像素来自标定结果不能填 0Camera.cx/cy主点坐标一般接近图像宽高的一半Camera.k1/k2径向畸变已去畸变则填 0Camera.p1/p2切向畸变已去畸变则填 0Camera.fps采集帧率影响初始化时的运动假设Camera.RGB通道顺序OpenCV 读图为 BGR通常填 0ORBextractor.nFeatures每帧特征数弱纹理场景可上调ORBextractor.iniThFASTFAST 初始阈值默认 20暗场景可降到 1015Camera.fps这一项容易被当成摆设实际上它参与单目初始化的运动模型判断。填得比真实帧率大很多系统会误以为帧间运动很小初始化迟迟不触发填小了又容易把正常运动判成过大。按采集时的实际帧率填误差控制在 10% 以内。3.2 单目、双目、RGB-D 的命令行差异ORB-SLAM2 的可执行文件按模式分开编译传参格式也不同。单目跑图片序列的命令是./Examples/Monocular/mono_tum \ Vocabulary/ORBvoc.txt \ /data/config/my_mono.yaml \ /data/my_sequence/rgb三个参数依次是词典、配置文件、图片目录。词典文件ORBvoc.txt加载较慢是正常现象首次运行等十几秒到几十秒都属正常不是卡死。双目模式需要额外传一个associations文件把左右目文件名和时间戳对应起来RGB-D 模式同样需要 associations 文件把彩色图、深度图和时间戳三者对齐。associations 文件的每一行是“时间戳 rgb路径 时间戳 depth路径”用空格或制表符分隔时间戳必须严格递增。# 双目 ./Examples/Stereo/stereo_kitti Vocabulary/ORBvoc.txt /data/config/my_stereo.yaml /data/my_sequence/left /data/my_sequence/right # RGB-D需要 associations 文件 ./Examples/RGB-D/rgbd_tum Vocabulary/ORBvoc.txt /data/config/my_rgbd.yaml /data/my_sequence /data/my_sequence/associations.txt命令行里所有路径都建议用绝对路径。相对路径在Examples/子目录下执行时基准目录是当前工作目录而不是可执行文件所在目录这是另一个高频翻车点——报“无法打开配置文件”八成是路径基准搞错了。3.3 associations 文件怎么生成RGB-D 和双目模式依赖 associations 文件做帧对齐。如果彩色图和深度图是同一时刻采集、文件名一一对应可以写个小脚本直接生成不必手动拼import os rgb_dir /data/my_sequence/rgb depth_dir /data/my_sequence/depth out_path /data/my_sequence/associations.txt rgb_files sorted(os.listdir(rgb_dir)) depth_files sorted(os.listdir(depth_dir)) with open(out_path, w) as f: for i, (r, d) in enumerate(zip(rgb_files, depth_files)): ts f{i * 0.033:.6f} # 假设 30fps按实际帧率改 f.write(f{ts} rgb/{r} {ts} depth/{d}\n)这里的时间戳是按帧率推算的如果采集端有真实时间戳务必用真实值替换因为 ORB-SLAM2 用时间戳判断关键帧间隔和运动速度。zip要求两个目录文件数一致且顺序对应数量对不上会静默截断跑出来的轨迹后半段缺失排查起来很费劲。生成后打开文件抽查前几行和后几行确认路径和文件名没有错位。4. 跑崩了先看这几处常见问题排查4.1 现象启动即报“Failed to load vocabulary”或配置文件打不开原因几乎都是路径问题词典文件或 yaml 的相对路径基准不对或者路径里带了中文、空格、特殊字符。ORB-SLAM2 内部用std::ifstream打开文件对非 ASCII 路径的支持取决于系统 locale很多环境下直接失败。解决全部换成绝对路径目录名只用字母、数字、下划线。用ls -l确认文件确实存在且有读权限。如果词典加载慢但最终成功不要误判为失败看进程是否还在跑。4.2 现象程序跑起来但一直不初始化轨迹为空单目模式下最常见。原因有三类帧间运动太小相机几乎没动、特征点太少纹理弱或曝光不足、Camera.fps填得离谱。系统在等一个“足够大的视差”才触发初始化相机不动它就永远等。解决先确认图像里能提取到足够特征把iniThFAST降到 10 试试确认fps与真实帧率一致采集时保证相机有平移运动纯旋转是单目初始化的天敌。RGB-D 和双目模式不初始化的问题多半是 associations 文件时间戳不递增或深度图格式不对。4.3 现象轨迹整体漂移或点云扭曲成片状内参或畸变系数不准的典型表现。焦距偏大重建尺度偏小主点偏移点云整体平移畸变没校正边缘区域点云卷曲。这类问题不会让程序崩溃但结果没法用属于“跑通了但跑错了”。解决重新标定或用已知尺寸的标定板验证内参。检查配置文件里Camera.RGB是否填对——填错会导致颜色通道错位虽然不影响几何但可视化时颜色诡异容易误导判断。深度图单位也要确认ORB-SLAM2 期望毫米如果深度图是米为单位整个场景会缩小一千倍。4.4 现象跑到中途突然段错误或内存暴涨常见于图片尺寸过大比如 4K 序列且nFeatures调得很高单帧特征提取耗时和内存占用同时上升也可能是某几帧图片损坏或尺寸不一致ORB 提取器在越界访问时崩溃。解决先把序列缩放到 640×480 左右再跑验证流程用脚本检查所有图片的尺寸是否一致不一致的帧剔除或统一缩放nFeatures不要盲目拉到 3000 以上收益递减而耗时线性增长。段错误没有明确报错行时用gdb跑一遍拿 backtrace比盲猜快得多。5. 验证与调优怎么判断跑出来的结果可信跑出轨迹不等于跑对。我习惯用三个层次验证第一层看系统日志里的跟踪状态Tracking是否持续为OK丢失后有没有成功重定位第二层把估计轨迹和采集时的粗略运动对照比如走直线时轨迹不该出现大回环第三层用 evo 这类轨迹评估工具把 ORB-SLAM2 输出的CameraTrajectory.txt和参考轨迹做对齐看 ATE绝对轨迹误差的均方根值。没有真值轨迹时至少检查轨迹的起点终点距离和实际行走距离是否在同一量级——单目尺度不可观测但形状应该对得上。调参上ORBextractor.nFeatures和iniThFAST是最值得动的两个旋钮。室内弱纹理场景把nFeatures提到 1500、iniThFAST降到 12跟踪稳定性通常有明显改善室外纹理丰富场景保持默认即可调高只会拖慢速度。ThDepthRGB-D 模式下深度阈值决定多远以外的深度点不参与优化室内小场景可以调小到 40 左右减少远距离噪声深度的影响。还有一个容易被忽略的验证手段把CameraTrajectory.txt和KeyFrameTrajectory.txt都导出来对比。前者是每帧位姿后者是关键帧位姿如果两者形状差异巨大说明跟踪过程中频繁丢失又重定位结果不可信。从那以后我每次换新数据集都先用几十帧的小片段跑一遍确认初始化、跟踪、保存轨迹整条链路通了再上全量序列——这个习惯帮我省掉了大量在几千帧里大海捞针的时间。希望帮到你。本文还有配套的精品资源点击获取