简介基于深度学习的三维人体姿态估计技术综述PDF由北京航空航天大学崔家浩、何欣雪、李帅等撰写聚焦计算机视觉与自然人机交互领域适合深度学习、数据分析、数据研究、虚拟现实、医疗康复等方向的研究者、工程师及高年级学生。文献系统阐释三维人体姿态估计的基本概念、骨架模型与表面模型的表示方式深入剖析二维投影多义性、肢体自遮挡、真实场景泛化等关键挑战并依据输入数据类型、目标任务及基本原理对深度学习方法分类重点介绍基于RGB图像和RGB-D图像的CNN、GAN等典型技术覆盖虚拟现实低延迟化身建模、自动驾驶行人意图感知、医疗康复运动能力评价等应用场景最后展望未来发展趋势。资源为单份PDF文档大小8.64MB版式清晰完整可直接用于专业指导与参考文献检索。已有268人学习适合快速建立三维人体姿态估计的知识框架。1. 人体姿态从二维走向三维真正卡住的不是网络而是问题定义一份以“基于深度学习的三维人体姿态估计技术”为标题的文档放到工程团队里最常见的结局是被当成“又一篇综述”收藏然后就没有然后了。真正值得扒开看的不是那张网络结构图而是它如何回答三个问题网络输出的是什么坐标系下的坐标、误差在哪个尺度上计算、以及在只有单目RGB输入时深度方向的信息到底从哪里来。这套技术要解决的问题并不新把图像或视频里的人物转成一组关节点的三维坐标通常落在相机坐标系下。相比二维姿态估计多出来的深度轴把所有环节都拖进了毫米量级的状态二维方法里无伤大雅的像素抖动到三维里会变成骨骼长度忽长忽短、关节明显漂移的视觉事故。适合关注这条技术线的人不光是做动作识别、人机交互和运动分析的研究者更多是那些拿到了标注数据却不知道从哪里开始复现一篇论文的算法工程师。这里先用一个反直觉的结论开场工程落地时先预测二维关键点再提升到三维坐标的两阶段方案往往比端到端直接回归三维的模型更稳、更容易排错也更适合成为你复现的第一版基线。2. 三维人体姿态估计的问题定义、数据协议与评估口径2.1 输入、输出与坐标系先决定物理量再谈网络结构三维人体姿态估计的输入通常是单目相机拍摄的RGB图像或视频序列输出是人体关节点在某个三维坐标系下的坐标。这个坐标系的选择决定了后续所有工作的复杂度最常见的两种设定是相机坐标系和世界坐标系。相机坐标系以相机光心为原点直接对应透视投影关系不需要额外融合IMU或外部动捕系统世界坐标系则多用于多视角重建或与其它传感器对齐的场景。单目方案里基本都走相机坐标系因为只有一个视角时世界坐标系的绝对位置本身缺乏观测约束。这里必须保留相机参数的位置。三维坐标与二维像素坐标的映射关系由一个3×4的投影矩阵描述内参包含焦距和主点外参包含旋转和平移。单目图像中一个三维点沿着相机光轴方向平移时投影到图像上的像素位置不变这就是深度歧义。换句话说神经网络不能从图像里“看出”绝对深度它只能根据人体骨架的几何先验、骨长比例和上下文外观去估计一个合理的深度值。因此评估三维姿态时普遍采用以骨盆为根的相对坐标而不是相机坐标系的绝对位置。除了坐标参考系还要区分输出粒度。粗粒度方案只输出17或24个关节点的三维位置细粒度方案回归SMPL、SMPL-X这类参数化人体模型再从网格上读取关节点位置。点级输出便于计算指标和做下游任务参数化输出可以同时得到表面网格但训练监督需要更多标注来源。开头提到的两阶段方案属于前者也是复现门槛最低的一条路径。2.2 Human3.6M 数据集与训练协议S1/S5/S6/S7/S8 与 S9/S11三维姿态估计绕不开Human3.6M这个数据集它包含11个受试者在室内环境下完成的15类动作四台同步相机从不同角度拍摄同时提供动捕系统生成的三维标注。图像分辨率、相机内参、人物检测框和关键点标注都齐全是目前单目三维姿态估计最常用的基准。使用时有非常固定的训练协议不能随意打乱。标准做法是使用S1、S5、S6、S7、S8五个受试者的数据训练在S9和S11上测试。动作类型覆盖 walking、sitting、phoning 等常见日常活动有些训练协议还会剔除被遮挡严重的帧。每次下采样或取帧方式不同也会影响最终指标因此复现论文时数据采样策略要和评测协议一并记录。协议项常用取值说明训练受试者S1, S5, S6, S7, S8五人多视角数据约 32 万帧测试受试者S9, S11不参与训练验证泛化能力关节点数量17 / 21 / 2417 点最通用SMPL 常用 24 点帧采样每 1/5/10 帧采样采样密度影响数据量与时序连续性2D 检测来源真值 / CPN / HRNet两阶段方案中决定输入质量的上限除了训练集划分2D关键点的来源也会显著改变结果。用真值2D输入是“上限评测”用检测器输出才是“端到端可用评测”。实际复现时我一般会同时保留两种输入模式方便定位误差是来自检测器还是来自三维提升模块。这一点在交接复现结果时经常被忽略导致两个人跑同一份代码结果差出十几毫米。2.3 MPJPE 和 PA-MPJPE根对齐后才能比较误差评估指标是复现论文时最容易出错的地方。最常用的指标是MPJPE全称是 Mean Per Joint Position Error计算预测关节点与真值关节点之间的平均欧氏距离单位是毫米。计算前需要先把预测结果与真值对齐到同一参考点通常是将骨盆关节平移到原点让两者处于同一坐标系原点下再做逐关节点距离计算。这样得到的指标排除了人体在画面中绝对位置带来的干扰衡量的是姿态本身的形似程度。PA-MPJPE 在 MPJPE 基础上多一步操作用 Procrustes 分析计算一个最优旋转、缩放和平移把预测骨架对齐到真值骨架。这个操作把骨长差异、整体旋转误差都吸收掉了所以 PA-MPJPE 数值通常比 MPJPE 低它更接近对“姿态形状”的衡量。一个模型可能 MPJPE 很高但 PA-MPJPE 不错这说明误差主要来自尺度或旋转而不是关节点相对拓扑关系。另一个容易混淆的指标是 PCK 类的检测成功率它计算预测关节点落在真值一定半径范围内的比例。三维场景中这个半径通常按 150mm 计算如果记成 2D 中的 0.2 倍躯干长度这类比较就已经失去了意义。复现时把指标公式写清楚比挣扎着调参更有价值因为指标口径错了后面对比的所有数字都没有可比性。3. 用 PyTorch 复现一个最小可跑的 2D-to-3D 提升网络3.1 为什么先做二维姿态估计再映射到三维是稳定起点三维人体姿态估计的实现路线大致可以分成三类直接从图像回归三维坐标、从二维关键点提升到三维坐标、以及通过参数化人体模型绕一圈得到关节点。第二种被称为 2D-to-3D Lifting是复现成本最低、中间过程最透明的一条路径。它把问题拆成两个独立模块先用二维姿态估计模型从图像中检测出 2D 关键点再用一个小型全连接网络把这些二维坐标映射到三维坐标。这一路线在数学上是合理的人体骨架的二维投影形状与三维姿态之间存在强相关尤其是骨长比例和遮挡关系为深度估计提供了足够的学习信号。两阶段方案的两个模块可以分别训练、分别评测。2D 检测器输出了可视觉检查的中间结果哪一步出错在界面上就能看出来。端到端方案的中间表示通常是特征图出错时很难判断是人体检测、特征提取还是坐标回归环节出了问题。这里需要明确一点纯从二维坐标到三维坐标的映射本身是个病态问题同一个二维投影可能对应多个三维姿态。网络实际学到的是训练集姿态分布的加权平均因此数据集覆盖范围直接决定了模型的泛化能力。Human3.6M 虽然动作种类有限胜在标注质量稳定适合作为基线验证。模型结构不必复杂下面这套全连接结构配合标准化处理就足以跑出一个可分析的实验。3.2 在 PyTorch 里搭一个最小 LiftNet34 维输入到 51 维输出以 COCO 17 个关键点格式为例输入是 17 个二维坐标展开成 34 维向量输出是 17 个三维坐标展开成 51 维向量。网络主体使用残差全连接块搭配 BatchNorm 和 Dropout 控制过拟合。原始输入需要先做中心化处理减去左右髋关节的中心点再除以一个尺度因子这里选取髋中点到肩部中点的像素距离用来消除人物在画面中不同远近带来的尺度差异。import torch import torch.nn as nn class LinearBlock(nn.Module): def __init__(self, dim, dropout0.25): super().__init__() self.net nn.Sequential( nn.Linear(dim, dim), nn.BatchNorm1d(dim), nn.ReLU(), nn.Dropout(dropout), ) def forward(self, x): return self.net(x) class LiftNet(nn.Module): def __init__(self, num_joints17, hidden_dim1024, num_blocks2): super().__init__() self.num_joints num_joints self.fc_in nn.Linear(num_joints * 2, hidden_dim) self.blocks nn.Sequential(*[ LinearBlock(hidden_dim, dropout0.25) for _ in range(num_blocks) ]) self.fc_out nn.Linear(hidden_dim, num_joints * 3) def forward(self, x): x self.fc_in(x) x self.blocks(x) x self.fc_out(x) return x.view(-1, self.num_joints, 3)这段代码对应的是 Martinez 在 2017 年提出的基础结构核心思路上没有后来那么多花哨组件但作为复现起点很合适。两个 LinearBlock 各含一层全连接、批归一化和 ReLUhidden_dim 取 1024 是为保留足够的非线性容量。输入层是 34 维线性层输出层直接回归 51 维坐标没有任何中间监督也没有骨骼约束。训练数据的预处理函数同样重要下面的代码展示了如何对输入关键点做去中心化和尺度归一化def normalize_2d(kpts2d): # kpts2d: (N, J, 2)假设 COCO 关节顺序 pelvis (kpts2d[:, 11, :] kpts2d[:, 12, :]) / 2.0 centered kpts2d - pelvis[:, None, :] neck (kpts2d[:, 5, :] kpts2d[:, 6, :]) / 2.0 scale torch.norm(neck - pelvis, dim-1, keepdimTrue) 1e-6 return centered / scale[:, :, None], scale去中心化以左右髋关节中点作为根节点使模型不需要记忆人物在图像中的位置尺度归一化把人体的远近差异消掉只保留姿态本身的几何结构。需要注意这个尺度归一化只作用于输入三维输出目标通常直接使用毫米单位的三维坐标并同样做去骨盆中心处理。如果三维目标也除以尺度评测指标会变成无量纲的相对误差再换算回毫米时会产生一层额外误差。3.3 训练循环里的关键细节超参数、损失与监控指标训练这样的网络不需要 GPU 集群单张消费级显卡就能在 Human3.6M 子集上完成一轮可用实验。优化器使用 AdamW初始学习率 1e-3配合 StepLR 在训练后期降到 1e-4。损失函数是三维关节坐标的均方误差输出相对骨盆坐标因此不需要额外加权。建议 batch size 取 128 以上这样 BatchNorm 层在训练中不容易受小批量统计波动影响。def train_step(model, batch, optimizer, loss_fn): kpts2d, kpts3d batch kpts2d kpts2d.float() kpts3d kpts3d.float() normed_2d, scale normalize_2d(kpts2d) x normed_2d.reshape(normed_2d.size(0), -1) pelvis_3d (kpts3d[:, 11, :] kpts3d[:, 12, :]) / 2.0 target_3d kpts3d - pelvis_3d[:, None, :] pred_3d model(x) loss loss_fn(pred_3d, target_3d) optimizer.zero_grad() loss.backward() optimizer.step() return loss.item()使用 AdamW 是为了让权重衰减与学习率解耦减少三维坐标任务中常见的过拟合现象。预测结果是相对骨盆的三维坐标评估 MPJPE 时默认骨盆对齐这样计算口径与指标定义保持一致。训练过程中需要监控两个数值训练集上的损失和验证集上的 MPJPE。验证集每两个 epoch 跑一次记录每个关节点的误差分布。常见现象是手肘、手腕的误差显著高于髋关节这与二维检测器在这些区域的精度衰减直接相关。如果你的验证集误差在 80mm 附近波动但不再下降先检查学习率是否已经衰减到有效区间再检查输入数据的归一化统计量是否来自训练集而非全量数据。Cross-subject 协议下泄露训练集统计信息会让测试集指标虚高这是复现中比较容易踩到的雷。4. 端到端方案、骨骼长度约束与时间序列建模4.1 体积表示与端到端直接回归精度提升背后的显存代价两阶段方案虽然好调试但它的上限受制于二维关键点质量。二维检测器一旦在遮挡、快速运动或异常视角下失准后续三维提升模块即使结构再强也无法恢复丢失的信息。端到端方案试图直接由图像回归三维姿态其中最典型的是基于体积表示的做法把人体所在的包围盒划分成三维体素栅格为每个关节点预测一个三维热图再通过 soft-argmax 得到关节坐标。这种方式让网络可以从外观纹理直接学习深度线索在小数据集上的精度通常优于两阶段方案。代价是计算量呈立方级增长。以包围盒内 64×64×64 的体素空间为例17 个关节点的三维热图叠加后网络输出通道就是 17 个体素网格显存消耗与体素分辨率强相关。实际工程中为了把模型塞进单卡训练通常要把输入图像分辨率压到 256×256 甚至更低。体积方案还容易出现关节“假阳性”响应即体素热图峰值落在错误位置此时 MPJPE 会出现极端的离群值。对于大多数产品和项目而言先跑通两阶段方案再评估是否需要为端到端精度付出工程复杂度是比较稳妥的推进方式。4.2 骨骼长度约束给模型加一把几何尺子纯坐标回归损失只约束了关节点的位置没有显式约束骨骼长度。预测结果可能出现左臂比右臂长出一截这类几何上不合理的姿态。加入骨骼长度约束是一种常见的补救措施它从骨架拓扑上约束相邻关节点的距离使输出姿态更符合人体解剖学限制。def bone_length_loss(pred_kpts, gt_kpts, bones): total_loss 0.0 for i, j in bones: pred_len torch.norm(pred_kpts[:, i, :] - pred_kpts[:, j, :], dim-1) gt_len torch.norm(gt_kpts[:, i, :] - gt_kpts[:, j, :], dim-1) total_loss total_loss torch.mean((pred_len - gt_len) ** 2) return total_loss / len(bones)这里的 bones 是一个索引对的列表例如(5, 7)表示左肩到左肘(7, 9)表示左肘到左腕。骨骼约束并不单独使用一般作为辅助损失加入总损失权重设置在 0.1 到 0.5 之间。权重过大会让网络过度关注骨长而牺牲关节角度精度权重过小则起不到约束作用。从监督学习的角度看这个约束实质上是缩小了假设空间相当于给模型注入了一个“关节间距离应当保持稳定”的先验。泛化误差界理论里假设空间越小期望误差与经验误差之间的差距越容易控制。在三维姿态这类标注数据稀缺的任务中这种先验比单纯增大模型容量更有效。训练结束后可以单独统计每条骨骼长度的标准差如果某个骨骼的方差明显偏大往往对应数据集里此类动作样本过少。4.3 VideoPose3D 与时间卷积利用时间上下文压住深度抖动单帧模型最大的问题是深度方向的抖动。真实图像序列中即使每一帧的姿态都合理帧与帧之间的关节位置也会出现肉眼可见的跳动。解决思路很直接把时间上下文引入模型让网络参考相邻帧的姿态输出更平滑的结果。VideoPose3D 是这条路线里最有代表性的结构它使用空洞因果卷积在时间维度上提取特征感受野可以覆盖很长的帧窗口。技术上这类时序模型接收的不再是(N, 34)的二维输入而是(N, T, 34)的三维输入其中 T 是窗口长度。模型在时间维做 1D 卷积空间维则继续使用全连接层或 1x1 卷积。推理阶段为了对每帧都输出流畅结果需要维护一个滑窗缓冲预测当前帧时只使用之前帧的信息这种设计对应因果卷积。VideoPose3D 论文中使用的窗口长度可以覆盖数百帧但工程里过大的感受野会带来明显的延迟一般取 25 到 81 帧就能获得较好的平滑效果。时序模型也有代价它要求输入必须是连续视频流无法直接用于静态图像训练时对缺失帧敏感人物在画面中短暂消失会污染整个窗口。工程上可以采用两种策略缓解一种是在训练时随机 mask 一部分帧强制模型学会处理缺失另一种是保留单帧模型做快速回落时序模型只在检测置信度连续达标的片段上启用。这套“单帧兜底、时序平滑”的组合在很多动作识别项目里是直接可以复用的。方案输入输出显存开销时序能力适用场景2D-to-3D Lifting2D关键点关节坐标低单帧快速原型、调试端到端体积回归RGB 图像关节坐标高可扩展精度优先算力充足时间卷积提升关键点序列关节坐标中强视频、实时动作分析参数化模型回归图像/关键点SMPL 参数中可扩展需要网格表面的场景参数化模型回归也就是直接估计 SMPL 姿态参数和体型参数是当前论文中比较常见的输出方式。优点是有强人体先验短语输出不容易出现违反解剖学的姿态缺点是可解释性差SMPL 参数的数值空间不能直接可视化检错对工程调试并不友好。5. 把模型用到工程里的三个落地点可视化、误差拆解与方案选型5.1 从坐标到骨架可视化眼睛比数值更早发现错误MPJPE 掉到 60mm 后靠数字追踪问题会变得很吃力直接画骨架往往更高效。三维姿态可视化用 matplotlib 就能完成不需要引入重型图形库。import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D import numpy as np COCO_EDGES [ (0, 1), (0, 2), (1, 3), (2, 4), (5, 6), (5, 7), (7, 9), (6, 8), (8, 10), (5, 11), (6, 12), (11, 12), (11, 13), (13, 15), (12, 14), (14, 16) ] def draw_skeleton(ax, kpts3d, color#1f77b4): ax.scatter(kpts3d[:, 0], kpts3d[:, 1], kpts3d[:, 2], s20, colorcolor) for i, j in COCO_EDGES: ax.plot(kpts3d[[i, j], 0], kpts3d[[i, j], 1], kpts3d[[i, j], 2], colorcolor, linewidth2)绘制时要注意两点。第一三维坐标的三个轴比例要设置成等比例否则骨骼长度会被拉伸视觉上产生误导。第二观察视角要固定不要用自动旋转视角否则难以比较不同帧之间的姿态差异。可以把预测结果和真值画在同一个坐标系中预测用实线真值用虚线颜色区别开。这样做比单纯看数值更容易定位是哪段骨骼、哪个关节在深度方向上漂移。5.2 误差拆解的三个观察角度拿到可视化结果后用三个角度排查误差。第一观察关节点的三维坐标与二维投影是否一致把预测的三维坐标重新投影回图像与输入图像的二维关键点做对比如果投影点偏离检测框说明三维输出的根关节位置或骨长尺度有问题。第二观察末端关节的误差是否系统性大于近端关节如果手腕、脚踝误差长期比肩膀高出一倍以上可以优先检查二维检测器在这些区域的置信度而不是盲目调三维网络。第三观察误差在时间维度上的分布按帧序号画出每帧 MPJPE 曲线如果误差峰值集中在动作快速变化的片段说明模型的时序感受野不足属于数据层面的问题加窗口长度比加深网络更有效。推理输出的数据结构建议固定为 JSON 或 ndarray 格式包含每帧的时间戳、17 个关节的 x、y、z 坐标和置信度。置信度来源于二维检测器的关键点得分对三维结果做后处理时置信度低于阈值的关节可以直接丢弃避免下游算法用到明显不可靠的位置。5.3 面对工程场景单帧、视频流和参数化输出的取舍到了选型这一步核心问题不是哪个模型最强而是输入条件和硬件约束决定了哪条路最省成本。静态图像输入没有时间上下文可用优先选择单帧两阶段方案配合骨长约束修正几何一致性。视频流输入且延迟要求不苛刻优先选择时序卷积或时序 Transformer直接获得更平滑的姿态输出。如果需要输出人体网格而非关节点就绕不开 SMPL 参数化路线但要做好参数反解和姿态先验注入的准备。还有一个经常被忽略的因素下游任务需要的精度粒度。动作识别往往只需要关节角度这时 PA-MPJPE 更重要影视和动画制作需要绝对骨长和关节点空间位置这时 MPJPE 才有意义。选模型之前先确认下游模块消费的是“长相”还是“位置”这决定了你可以容忍多少骨长缩放误差。返回来说到开头那份标题三维人体姿态估计的完整技术链路从问题定义、数据协议、模型实现到可视化验证都指向同一个原则先让每个中间步骤可解释、可检查、可量化模型复杂度留到有明确精度缺口时再往上加。在精度没有成为瓶颈之前两阶段方案是性价比最高的起点而让它可追踪的关键就两点标准化逻辑固定复用根对齐写进评测函数。本文还有配套的精品资源点击获取