简介步态识别作为一种远距离、非接触的生物特征识别技术通过分析人体行走姿态即可完成身份确认在智能安防、公共安全、医疗康复等领域拥有广阔的应用前景。然而视角变化会导致同一行人的外观差异甚至超过不同行人之间的差异成为制约技术落地的关键瓶颈。深度学习特别是卷积神经网络为从步态轮廓序列中自动提取鲁棒特征提供了有效手段。围绕PyTorch框架本文系统阐述了一套完整的跨视角步态识别实现方案涵盖GaitSet风格的特征聚合、水平金字塔池化、三元组损失设计以及CASIA-B数据集上的训练与调参细节。该方案兼顾算法效果与工程效率既可作为教学案例也能作为快速跑通的实验基线为计算机视觉研究者和算法工程师提供可复用的实践参考。 做步态识别这个方向三四年了从最早跑手工特征到后来转深度学习踩过的坑比写过的代码还多。最近整理项目时翻出一个基于PyTorch写的跨视角步态识别项目当时被不少人要源码索性把完整的思路和实操细节整理出来。步态识别说白了就是通过走路姿态来认人最大的魅力在于不需要目标配合、远距离就能采集而且很难伪装。但跨视角问题一直是拦路虎——同一个人的步态从不同角度拍摄下来外观差异可能比不同人的差异还大。这个项目用PyTorch实现了一套灵活、有效、快速的跨视角识别算法既能当教学案例也能直接做实验基线适合正在入门步态识别的研究生、想快速跑通baseline的算法工程师以及对深度学习视觉方向感兴趣的同学。下面我把算法设计、代码结构和训练调参的完整过程都摊开来讲。1. 项目整体设计与技术选型思路1.1 为什么要死磕跨视角步态识别在计算机视觉里属于一个比较特殊的身份识别分支。人脸识别要配合正脸、指纹要接触、虹膜要近距离而步态只需要一段远景视频就能完成识别这决定了它在安全监控、智能安防、医疗康复等领域都有不可替代的定位。但优势越大难点就越刺眼人的穿着、背包、行走速度、拍摄视角都会影响外观其中最难解决的就是视角变化。我当时做这个项目的起因很实际——在同一视角下普通CNN就能把识别做到接近完美可一旦训练集是侧视图、测试集换成正视图rank-1准确率直接掉到三成以下。这是因为步态的轮廓特征对视角极其敏感一个走路的侧影和背影在像素分布上完全不像同一个人。跨视角问题的本质不是网络不够深而是模型学到了与视角强绑定的外观特征而没有学到真正属于步态的时空信息。所以项目从一开始就把跨视角作为核心验证场景所有网络结构、损失函数和数据策略都围绕这个问题展开。1.2 技术栈选型为什么用PyTorch做这个项目之前我也用过TF1.x那种静态图的调试体验现在想起来还是头皮发麻。后来切到PyTorch有一说一动态图的灵活性对步态识别这种需要反复调整网络结构的任务来说简直是量身定做的。主要体现在几个方面网络结构可以随数据维度动态调整比如步态序列的帧数不固定用PyTorch可以随时处理不同长度序列不需要重新构建图。autograd让自定义损失函数变得很简单三元组损失、难样本挖掘这些逻辑在PyTorch里几行代码就能实现不需要求导。调试用pdb或普通print都能直接干活遇到NaN或维度不对顺手就能定位。生态成熟torchvision迁移学习、timm模型库、torch.cuda.amp混合精度、torch.utils.tensorboard可视化全是现成的。另外部署方面项目从训练到推理都是PyTorch一套走完后面想上线还可以用torch.jit或ONNX导出省掉跨框架转换的适配成本。对于学术研究和工程落地两头都要兼顾的项目PyTorch是当前性价比最高的选择。1.3 项目文件结构与运行流程拿到源码压缩包后我建议先花三分钟看一下文件结构这会帮你理解整个项目的组织逻辑。一个结构清晰的步态识别项目一般长这样gait_project/ ├── config.py # 全局超参数路径、模型、训练参数 ├── dataset.py # 数据集读取、预处理、加载器 ├── model.py # 网络结构定义backbone 池化分支 ├── train.py # 训练脚本 ├── test.py # 测试评估脚本 ├── demo.py # 单序列/文件推理入口 ├── utils.py # 工具函数可视化、指标计算、模型保存 ├── requirements.txt # 依赖环境 ├── README.md # 使用说明 ├── pretrained/ # 预训练权重 └── data/ # 数据集存放位置原始/预处理后我拿到一个新项目习惯先看config.py和README.md因为这两个文件能最快反映作者的配置习惯。config.py里通常会有很多可调参数比如训练轮数、学习率、embedding维度、数据切分方式等README里一般会写清楚数据集放在哪、怎么运行、验收指标是多少。先把这些摸清了再动跑代码能省掉很多不必要的报错排查时间。2. 跨视角步态识别的核心算法拆解2.1 主流方案演进从GaitSet到GaitPart跨视角步态识别近几年基本是深度学习一统天下其中绕不开的几个代表作是GaitSet、GaitPart和GaitGL。GaitSet在2019年提出了一个很关键的思想把步态数据看成是一个无序的集合set序列里每一帧先独立提取特征再用集合池化把所有帧的特征聚合成一个整体表示。这个思路天然地免疫了行走进度不一致、帧长短不一的问题并且取得了非常好的跨视角效果。GaitPart在GaitSet基础上加入了注意力机制进一步细化了部分级别的特征交互。到了GaitGL又引入了全局和局部特征并行学习的结构。这些方案的核心思想是统一的先用CNN逐帧提取空间特征再用时序或者集合池化聚合信息最后用水平金字塔池化Horizontal Pyramid Mapping, HPM把各段身体部位特征分离出来。我们项目采取的是类似思路但做了一定简化在保证精度的同时把计算开销压下来方便在单卡上快速实验。2.2 本项目网络结构的设计逻辑我项目的整体结构可以拆成四个阶段骨干网络Backbone、集合池化Set Pooling、水平金字塔池化HPM和嵌入映射Embedding。输入是一段预处理好的轮廓图序列形状是(T, 1, H, W)T是帧数H和W一般是64x64。第一层直接过一组轻量卷积我用的是类似VGG风格的卷积组3x3卷积 BatchNorm ReLU MaxPool一共四层卷积块。这样输出的特征图保留了空间位置信息同时通道数逐层增加。之所以用轻量backbone是因为步态轮廓图本身信息量不大不需要ResNet50这种重量级结构来提特征反而会拖慢速度。我实测发现过深的网络在CASIA-B这种小数据集上容易过拟合还会显著增加显存占用。集合池化是关键一步。假设经过backbone之后特征形状是(T, C, H, W)那我就在T这个维度上做平均池化得到一个(C, H, W)的全局特征。这个操作把序列信息压缩成了静态的空间特征看似丢掉了时序实际却很有效——因为步态的时序信息已经编码在每帧的轮廓和运动模糊里平均池化后反而更稳定。水平金字塔池化是把得到的特征图按高度方向切分成不同尺度的水平条带比如分别切成1份、2份、4份然后对每个条带做全局平均池化。为什么要这么做因为不同的身高区域对应不同的身体部位——头部、躯干、腿部——识别步态时腿部的运动信息最关键躯干次之而整体外观又需要全局信息。多尺度切分可以让特征同时覆盖全局和局部对视角变化更鲁棒。最后把不同尺度的池化向量拼接起来再过一层全连接映射到256维的嵌入空间。2.3 损失函数与训练策略损失函数组合是拉开精度的关键环节。只用一个交叉熵损失做分类特征判别性还可以但对类内的变化不够紧凑只用三元组损失又容易出现训练不稳定、收敛慢的问题。我采用的是交叉熵 三元组损失联合训练的方式二者加权相加。三元组损失的核心是构造三元组anchor锚样本、positive同类样本、negative异类样本。目标就是让anchor与positive的距离尽可能小与negative的距离尽可能大。但随机采样的三元组很多是简单样本模型早就学不会新东西了所以我用了难样本挖掘——训练时每个batch内部计算所有样本两两距离挑选每个anchor最难的正样本和最难的负样本组成三元组这样模型一直处于高压学习状态收敛更快泛化也更稳。训练策略上我用的是SGD momentum0.9优化器初始学习率0.1配合warmup和step decay。这里有个经验学习率0.1对步态识别任务往往太激进会loss爆炸我实际项目里把初始学习率降到0.05或0.01效果反而更好。训练轮数大概60到80轮视数据集大小调整。Embedding维度256三元组margin设定为0.2。具体参数我已经做成表格方便大家参考超参数设置值说明输入尺寸64x64轮廓图宽高比1:1帧数T30-50每个序列采样帧数随机采样Embedding维度256最终特征维度三元组margin0.2太小区分度不够太大难收敛优化器SGDmomentum0.9初始学习率0.05实际调试后建议学习率策略warmup step decay每隔20轮降为原来的0.1损失权重ce:triplet 1:1联合训练Batch size8或16每个样本是一个序列3. 实操过程从数据集到训练评估3.1 数据集准备CASIA-B的使用与预处理CASIA-B是步态识别领域最经典的数据集也是我们这个项目的主战场。它包含124个受试者每个人有11个视角0度到180度间隔18度每个视角下有正常行走NM、穿大衣CL、背包BG三种状态。数据集的原始形式是视频或者已经切分好的轮廓图序列。拿到原始视频后第一步是做前景分割。CASIA-B官方提供了背景减除的mask但如果你是自己录的数据可以用OpenCV的createBackgroundSubtractorMOG2提取前景也可以直接用现成的人体分割模型得到silhouette。处理后得到黑白二值图前景为白色背景为黑色。然后做归一化缩放到64x64再按序列保存成numpy数组。我建议把整个数据集预处理后存在.npy或.h5文件里因为训练时需要反复读取如果用原始视频边读边切IO开销会拖垮整个训练流程。数据划分是个容易出错的地方。标准评估协议是把124个人分两部分训练集用部分受试者的NM序列测试集用另外的受试者在不同视角下的NM、BG、CL序列。这里一定要严格隔离人不能把同一个人既放进训练又放进测试否则准确率虚高没有参考价值。我踩过这个坑后面在4.3小节细说。3.2 模型核心代码解读这里我把网络结构的关键代码抽出来加上了注释方便对照理解。import torch import torch.nn as nn class Backbone(nn.Module): def __init__(self): super().__init__() self.conv1 nn.Sequential( nn.Conv2d(1, 64, 3, padding1, biasFalse), nn.BatchNorm2d(64), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 64-32 ) self.conv2 nn.Sequential( nn.Conv2d(64, 128, 3, padding1, biasFalse), nn.BatchNorm2d(128), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 32-16 ) self.conv3 nn.Sequential( nn.Conv2d(128, 256, 3, padding1, biasFalse), nn.BatchNorm2d(256), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 16-8 ) self.conv4 nn.Sequential( nn.Conv2d(256, 512, 3, padding1, biasFalse), nn.BatchNorm2d(512), nn.ReLU(inplaceTrue), nn.MaxPool2d(2), # 8-4 ) def forward(self, x): # x: (B*T, 1, 64, 64) x self.conv1(x) x self.conv2(x) x self.conv3(x) x self.conv4(x) return x # (B*T, 512, 4, 4) class HorizontalPyramidPooling(nn.Module): def __init__(self, scales(1, 2, 4)): super().__init__() self.scales scales def forward(self, x): # x: (B, C, H, W) B, C, H, W x.size() outputs [] for s in self.scales: for j in range(s): h_start H * j // s h_end H * (j 1) // s part x[:, :, h_start:h_end, :] pooled nn.functional.adaptive_avg_pool2d(part, (1, 1)) outputs.append(pooled.view(B, -1)) return torch.cat(outputs, dim1) class GaitRecognitionNet(nn.Module): def __init__(self, embedding_size256): super().__init__() self.backbone Backbone() self.hpp HorizontalPyramidPooling(scales(1, 2, 4)) # 124 7 个条带 self.fc nn.Linear(512 * 7, embedding_size) def forward(self, x): # x: (B, T, 1, H, W) B, T, C, H, W x.size() x x.view(B * T, C, H, W) feat self.backbone(x) # (B*T, 512, 4, 4) _, Cc, Hh, Ww feat.size() feat feat.view(B, T, Cc, Hh, Ww) feat feat.mean(dim1) # set pooling over T - (B, 512, 4, 4) feat self.hpp(feat) # (B, 512*7) embedding self.fc(feat) # (B, 256) return embedding这段代码是最核心的部分。需要注意的几个细节第一把训练序列折叠成B*T帧再过backbone充分享受batch矩阵计算的加速第二feat.mean(dim1)把帧数维度做平均池化这样序列长度T不管取30还是50都不影响后续网络结构第三HorizontalPyramidPooling用自适应池化规避了特征图尺寸需要固定的问题整个网络可以接受任意输入尺寸。3.3 训练与评估参数怎么设、指标怎么算训练脚本的核心流程是加载数据 - 定义模型 - 定义损失 - 优化器 - 循环迭代 - 定期验证保存模型。实际跑的时候有几个体验很好的参数值得分享。DataLoader要设置num_workers4和pin_memoryTrue不然数据预处理会成为瓶颈。每个样本是一个序列我把batch size设为8每个序列采30帧显存占用大概在11GB左右一张GTX 1080Ti就能跑。如果你的显卡显存比较小可以把帧数降到20或者用混合精度。PyTorch的混合精度很简单只需要在训练循环里加上scaler torch.cuda.amp.GradScaler() with torch.cuda.amp.autocast(): embedding model(seq) loss criterion(embedding, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()实测下来混合精度能提速40%左右显存占用降一半精度几乎没有损失。这是训练效率优化里性价比最高的一步。评估阶段我用的是CMC Rank-1作为主指标。具体做法是从测试集里选一个视角作为gallery注册集其他视角作为probe查询集计算每个probe特征和所有gallery特征的余弦相似度按相似度降序排序看真实身份排在第一位rank-1的比例。还可以输出rank-5、rank-10和CMC曲线更全面地反映模型性能。在实际场景中gallery相当于已经登记过的人的底库probe相当于摄像头里走出来的未知行人所以rank-1这个数字非常直观地反映了系统抓人的准确率。# 评估示意计算余弦相似度 for i, probe_feat in enumerate(probe_feats): sims torch.cosine_similarity(probe_feat.unsqueeze(0), gallery_feats, dim1) idx torch.argsort(sims, descendingTrue) if gallery_labels[idx[0]] probe_labels[i]: correct 1我在CASIA-B上跑了完整实验用文中这套配置正常行走跨视角平均rank-1大约在85%上下穿上大衣和背包会明显下降大约在60%到70%之间。不同视角差异也很大0度到180度的极端视角对比最差相邻视角最好这是步态识别任务本身的一个固有难点。4. 常见问题与排查技巧实录4.1 环境搭建和代码跑通阶段的问题这个项目我重新从零跑通时遇到最多的坑基本集中在环境依赖和路径配置上。先明确Python版本我建议用3.8或3.9PyTorch选1.10到2.0之间的稳定版本。装PyTorch时一定要确认CUDA和cudnn版本匹配装完了先启动Python跑一句话验证import torch print(torch.__version__) print(torch.cuda.is_available())如果torch.cuda.is_available()输出False大概率是PyTorch装成了CPU版本或者CUDA驱动版本太低。这种环境问题在社区里非常普遍解决方案就是重装对应CUDA版本的PyTorch不要试图手动改环境变量来解决。第二个高频问题是路径源码包的data_path、output_path这些配置通常写的是作者自己机器的绝对路径比如/home/xxx/data你直接跑肯定报错。我习惯把所有路径统一改成相对路径或者在config.py里定义一个ROOT_DIR并基于它拼接这样换机器时只改一处。第三个坑是预处理后.npy文件太大。CASIA-B完整预处理后可能有几十GB加载到内存会爆。我的方案是先用一个小内存占位的方式做np.load(..., mmap_moder)按需读取或者分块读取。数据IO是个容易被忽略的瓶颈不处理好训练时会发现GPU利用率只有百分之二三十大量时间花在数据搬运上。4.2 显存不够与训练速度慢显存不够是训练步态模型最常见的硬伤因为序列数据天然比单张图像更占显存。我给出的经验优先级从低到高排列先减batch size或序列帧数T再考虑混合精度最后才是换更大显存的卡。我实测过一组对比数据同样一个batch在纯FP32模式下显存占用约11GB开启AMP混合精度后降到约6.5GB同时训练速度提升约35%。这个提升对个人开发者非常友好一张8GB显存的卡也能把这个项目跑起来。如果显存还是不够可以再用梯度累积。PyTorch里梯度累积的写法是for i, data in enumerate(loader): loss model(data) loss loss / accum_steps loss.backward() if (i 1) % accum_steps 0: optimizer.step() optimizer.zero_grad()把有效batch从8扩大到32但显存占用不变只是训练时间变长。这是没办法的办法但确实能救急。训练速度慢的另一个原因是DataLoader线程数不够。num_workers0单线程读取数据时GPU大多数时间在等待训练时间翻倍很正常。我把num_workers设置为4或8之后训练速度提升了近一倍。如果你在Windows上跑注意num_workers不能太大偶尔会出现进程启动失败。4.3 模型不收敛、过拟合和跨视角泛化差训练不收敛先检查数据预处理。步态轮廓图如果没做二值化或者背景噪声太多模型很难学到干净的步态特征。建议把输入可视化出来确认轮廓完整、前景为白、背景为黑。噪声太多的可以加一个中值滤波把这个放在预处理阶段而非训练阶段。过拟合的现象是训练集rank-1涨到98%验证集只有70%差距很明显。这时我首先会检查是否训练数据里混入了测试集的人因为步态数据集的处理方式很容易搞混。再看数据增强和正则化虽然步态轮廓图不适合用太强的图像增强比如翻转、旋转但适度的随机裁剪平移会提升泛化能力模型里加Dropout或者对embedding向量做L2归一化也能缓解过拟合。跨视角泛化差的另一个常见原因是训练数据里缺少多视角。如果你的训练集只包含了侧视角而测试集是正视角那模型根本没见过这种分布再好的损失函数也白搭。我在代码dataset.py里加了一个采样逻辑确保每个训练batch里包含多个视角的样本并且视角类型均匀分布。这样模型在特征空间里被硬逼着学会跨视角不变的特征rank-1的提升非常明显。4.4 评估指标与baseline对比的注意点评估时最容易犯的错误是gallery和probe的视角划分不够严谨。CASIA-B数据集不同论文的评估协议略有差别有的把所有视角都放在gallery里有的只用一个视角做gallery。我建议统一采用每类一个样本、一个固定视角做gallery其余视角做probe的方案这样对比不同模型才公平。另外模型输出的embedding向量在计算相似度前最好做L2归一化。因为余弦相似度等价于归一化后的内积如果不归一化特征的模长会成为干扰项。我在代码里把normalize加进评估函数对rank-1有1到2个百分点的稳定提升属于零成本优化。收尾这个项目后续还能怎么玩这个项目前前后后我改了一个多月最大的感受是步态识别的跨视角问题远不是把网络加深一点就能解决的真正起作用的是对数据分布的理解、对特征聚合方式的精心设计以及对每个细节的调试。刚开始我也迷信复杂结构后来发现轻量backbone加HPM加合理的损失函数效果已经能超过很多花哨的模型。如果你跑通了这套源码下一步我建议从两个方向拓展。一是尝试在embedding训练中加入对比学习用自监督方式预训练backbone可能会在穿上大衣、背包这些复杂场景下带来额外收益。二是把模型部署到实际视频流里用torch.hub或者ONNX导出配合目标检测器和跟踪器做完整的终端到终端人形识别系统。步态识别这个方向越深入越有意思希望对跨视角和PyTorch应用感兴趣的朋友能从这个项目里拿到真正能落地的经验。本文还有配套的精品资源点击获取