3D人体姿态三角化算法指南4种3D重建方法从OpenCV SVD到最优三角化对比【免费下载链接】EpipolarPoseSelf-Supervised Learning of 3D Human Pose using Multi-view Geometry (CVPR2019)项目地址: https://gitcode.com/gh_mirrors/ep/EpipolarPoseEpipolarPoseCVPR 2019是一个无需3D标注的自监督3D人体姿态估计框架模型先做2D关键点检测再用三角化把成对2D点还原为3D姿态。本文基于项目的三角化模块 lib/utils/triangulation.py 讲解其中4种三角化3D重建算法对比从OpenCV SVD到最优三角化的精度与速度。一、为什么 3D 人体姿态估计离不开三角化单张 RGB 图片只能给出平面信息从 2D 到 3D 本质上是个欠定问题。而多视角相机下同一个关节点在两张图中各有一个投影——两条视线射线在空间的交点就是这个关节的 3D 位置。这正是经典视觉里**三角化Triangulation**要解决的事。在 EpipolarPose 的自监督流程中三角化模块承担关键角色网络预测出两个视角的 2D 关键点后由 lib/utils/img_utils.py 中的triangulate()函数调用三角化算法直接生成 3D 监督信号——完全绕开了昂贵的 3D 标注。这就是自监督的精髓。二、4 种三角化3D重建算法速览lib/utils/triangulation.py 共封装了 4 个核心函数输入均为两路数据两视角的归一化图像坐标u1, u2点矩阵和对应的投影矩阵P1, P23×4内含旋转、平移与内参算法函数名核心思路相对速度返回状态向量① 线性特征值法SVDlinear_eigen_triangulationOpenCV 标准接口构建 4×4 齐次方程组1.0最快有限点判断② 线性最小二乘法linear_LS_triangulation每点求解 4×3 超定方程组0.1恒为 True③ 迭代最小二乘法iterative_LS_triangulationHartley-Sturm 迭代深度重加权0.025最慢五级离群标记④ 多项式最优三角化polynomial_triangulation极线修正匹配点 SVD 收尾0.1同算法① 相对速度取自各函数 docstring以算法①为基准 1.0数值越小越慢。统一约定4 个函数都返回(3D点数组, 状态向量)二元组输出精度由文件底部的set_triangl_output_dtype()统一控制默认 float64。三、算法①OpenCV SVD 线性特征值三角化最快基线linear_eigen_triangulation()是模块的速度标杆内部只有一行核心代码——直接委托 OpenCV 的cv2.triangulatePoints()。原理拆解对应 lib/utils/triangulation.py 第 22-27 行每个 3D 点在两个视角各给出 2 个投影方程合并成 4×4 齐次方程组M·X 0对M做SVD最小奇异值对应的右奇异向量就是最优齐次解[x, y, z, 1]ᵀ除以第 4 维得到欧氏坐标用max_coordinate_value默认 1e16阈值识别无穷远点如两射线近乎平行时的病态解状态向量据此置 False。优点调用 OpenCV 高度优化内核批处理整批点速度最快注意它对噪声一视同仁不做任何权重区分。四、算法②线性最小二乘三角化逐点求解linear_LS_triangulation()不依赖 OpenCV 封装而是手工推导代数结构对每个相机由u.x·(P[2,:]·X) P[0,:]·X、u.y·(P[2,:]·X) P[1,:]·X在齐次约束X₄1下化为(u·P[2,0:3] − P[0,0:3])·[x,y,z]ᵀ (u·P[2,3] − P[0,3]) 0两相机共4 个方程、3 个未知数构成超定方程组Ax b用cv2.DECOMP_SVD求最小二乘解。实现细节上模块用一个模块级常量C −I₂₃配合每点图像坐标拼装A与b第 70-92 行避免重复推导。特点逐点循环、无状态标记恒返回 True精度介于①与③之间适合对异常点有额外校验逻辑的场景。五、算法③迭代最小二乘三角化项目实际选用iterative_LS_triangulation()源自经典论文TriangulationHartley Sturm, 1997也是 EpipolarPose 自监督管线真正调用的算法——lib/utils/img_utils.py 第 204 行pt_3d, pt_vis iterative_LS_triangulation(u1, P1, u2, P2)核心思想深度加权迭代对应第 153-173 行初始化深度d1 d2 1先用 SVD 求一次 3D 点由投影矩阵第三行算出新深度d1_new P1[2,:]·X、d2_new P2[2,:]·X若深度变化小于tolerance默认 3e-5则收敛否则用新深度对 A、b 重加权近处点权重更大再求解最多迭代10 轮Hartley 的推荐值。最大亮点是五级状态向量让下游能精确剔除异常点状态值含义1内点收敛且位于两台相机前方0未收敛的离群点但在两相机前方−1仅在第二台相机前方−2仅在第一台相机前方−3在任意相机前方都不成立射线交叉病态为什么选它2D 检测噪声大时深度加权能让结果更稳健状态向量则为 3D 监督权重label weight提供依据——这正是自监督训练质量的关键一环。代价是逐点迭代速度最慢0.025但在每 batch 仅几十个关键点的规模下完全可接受。六、算法④多项式最优三角化多视几何加持polynomial_triangulation()实现了最优三角化Optimal Triangulation思想与其将就有噪声的原始匹配点不如先把 2D 匹配修正到彼此最接近的极线对再三角化。流程三步走第 184-220 行求规范投影矩阵P_canon P2 · P1⁻¹再从中提取本质矩阵F [t]×·R代码注释引用 HZ 9.2.4极线修正cv2.correctMatches(F, u1, u2)把匹配点投影到最近极线对消除观测噪声SVD 收尾用修正后的点调用算法①完成最终三角化。工程上有个精彩补丁当第二相机做纯侧向平移时correctMatches会整体返回 NaN代码随即用cv2.findFundamentalMat(FM_8POINT)估计带噪声的基础矩阵救场第 214-217 行。适用场景2D 匹配噪声显著、且相机几何已知时精度上限最高但依赖 F 矩阵质量在单应性退化如纯旋转下要小心。七、实战对比精度、速度与选型建议7.1 速度与误差特性维度① SVD② LS③ 迭代 LS④ 最优速度相对1.0 ⚡0.10.025 0.1噪声鲁棒性一般较好最好高匹配噪声敏感离群点识别仅无穷点无五级标记仅无穷点实现复杂度极低低中中高EpipolarPose 是否采用——✅训练管线可选研究用7.2 选型建议要速度大规模 SLAM 式场景算法①OpenCV 内核批处理要稳健 异常剔除自监督姿态训练、关键点噪声大算法③这也是项目默认2D 匹配噪声显著且相机几何精确算法④先极线修正再三角化需要纯 NumPy 可控推导算法②代码即推导便于魔改。7.3 在 EpipolarPose 中的调用链路三角化结果如何变成训练标签完整链路为双视角 2D 关键点经self_supervision()从 patch 坐标映射回原图lib/utils/img_utils.py 第 166-190 行triangulate()按batch 前半 视角A、后半 视角B配对批量调用算法③得到的全局系 3D 点再转成 pelvis 中心化坐标连同状态向量可见性/权重一起构成batch_label与batch_label_weight。 参考实现lib/utils/triangulation.py算法本体、lib/utils/img_utils.py自监督标签生成、训练配置见 experiments/h36m/train-ss.yaml。八、总结EpipolarPose 用一份不到 250 行的 lib/utils/triangulation.py把多视几何里最核心的 4 类三角化范式讲清楚了SVD 求最快、最小二乘求可控、迭代加权求稳健、极线修正求最优。理解它们你不仅看懂了无 3D 标注也能学出 3D 姿态的自监督魔法也拿到了一份可直接复用的多视几何工具箱——无论是 SLAM 建图、多相机标定还是多视角 3D 重建这套对比框架都通用。【免费下载链接】EpipolarPoseSelf-Supervised Learning of 3D Human Pose using Multi-view Geometry (CVPR2019)项目地址: https://gitcode.com/gh_mirrors/ep/EpipolarPose创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考