1. 项目缘起从2D到3D视频理解为何需要“扩展”在计算机视觉领域图像识别早已不是新鲜事各种基于2D卷积神经网络CNN的模型从AlexNet到ResNet再到EfficientNet已经将静态图片的分类、检测任务推向了相当成熟的阶段。然而当我们把目光转向视频这个由连续帧构成的动态序列时问题就变得复杂多了。视频识别尤其是人类动作识别其核心挑战在于如何有效地建模时间维度上的信息。早期最直观的想法就是把视频看作一堆图片用成熟的2D CNN逐帧处理最后再融合结果。这方法简单但忽略了帧与帧之间的运动信息识别“挥手”和“拍手”可能都差不多。于是3D卷积应运而生。它直接在时空维度高度、宽度、时间上进行卷积能同时捕捉空间外观和时间运动。C3D、I3D等模型证明了3D卷积的有效性但它们也带来了一个致命问题巨大的计算开销和参数量。一个简单的3D卷积核其参数量就是2D卷积的kernel_t倍时间维度长度。这使得3D模型训练慢、部署难难以在资源受限的场景下应用。这就引出了我们今天的主题X3D。这篇来自Facebook AI Research (FAIR) 的经典工作其核心思想不是设计一个更复杂、更大的模型而是反其道而行之思考如何系统性地、高效地扩展一个微小的2D图像模型使其成为一个强大的3D视频模型。它回答了一个关键问题给定一个计算预算比如1x的复杂度我们如何通过调整网络的多个维度深度、宽度、时间分辨率、空间分辨率等来获得最优的视频识别性能X3D不是某一个固定模型而是一系列沿着不同维度扩展得到的模型家族从轻量级的X3D-S到大型的X3D-XXL覆盖了从移动端到服务器端的各种需求。在我实际处理安防监控、短视频内容审核、健身动作评估等项目时常常在模型精度和推理速度之间艰难权衡。X3D提供的这种“扩展思维”和具体的设计图谱就像一份清晰的导航图告诉我们增加计算资源时应该优先“投资”在网络的哪个部分才能获得最高的“性能回报率”。这比盲目堆叠层数或通道数要科学得多。2. X3D的核心设计哲学多维度的扩展图谱X3D的出发点是一个极其精简的基线模型它基于经典的2D CNN架构如MobileNet ResNet但初始的时空维度都很小。然后作者们不是单一地增加深度或宽度而是定义了一个多维度的扩展空间并在这个空间里进行系统性的探索。这就像玩一个策略游戏你拥有固定的“计算点数”需要分配到“深度”、“宽度”、“时间长度”、“空间大小”等多个属性上以最大化最终“识别精度”这个技能。2.1 扩展的六个维度X3D主要考虑了以下六个可扩展的维度时间维度 (Temporal Resolution): 输入视频片段的帧数。从每秒1帧近乎图片到每秒几十帧完整动作。空间维度 (Spatial Resolution): 输入帧的高度和宽度。从112x112到更高的分辨率。网络宽度 (Width): 网络通道Channel的数量。通常通过一个宽度乘子width multiplier来控制。网络深度 (Depth): 网络的总层数或块Block的数量。瓶颈宽度 (Bottleneck Width): 在残差块中瓶颈层1x1卷积的通道扩张比率。这影响了块内的容量。帧采样率 (Frame Rate): 从原始视频中抽取帧的速率。这与时间维度相关但独立影响了时间上的覆盖范围。2.2 扩展策略逐次扩展与联合搜索X3D采用了一种渐进式扩展的策略。它从一个非常小的种子网络开始然后依次沿着上述一个维度进行扩展每次扩展后都在目标数据集上评估性能增益与计算成本FLOPs的增加。通过这种方式可以绘制出每个维度的“扩展曲线”直观地看到投入产出比。例如实验发现早期扩展时间维度T和空间分辨率S收益很高。这意味着在模型很小的时候先让它“看”更长的视频片段和更清晰的画面对性能提升帮助最大。网络宽度W和深度D的扩展在模型达到一定规模后收益才明显。盲目先加深加宽小模型效率很低。不同维度之间存在交互。例如增加了时间长度后可能需要相应地增加一点网络深度来消化更复杂的时间信息。基于这些观察X3D最终确定了一个高效的扩展路径并由此衍生出X3D模型家族。其核心架构仍然是基于3D卷积的但它通过精心设计的扩展顺序确保了每一步扩展都用在“刀刃”上。2.3 与I3D、SlowFast的对比思考这里不得不提另外两个视频识别领域的标杆I3D和SlowFast。I3D是“膨胀”2D预训练模型到3D的经典方法性能强但计算量大。SlowFast则提出了双路径创新思路用低帧率Slow路径捕捉空间语义高帧率Fast路径捕捉快速运动非常巧妙。X3D与它们的思路不同vs I3D: I3D是“一次性”膨胀得到一个固定的大模型。X3D是“渐进式”扩展得到一个可伸缩的模型谱系更注重效率与性能的帕累托前沿。vs SlowFast: SlowFast是架构创新改变了网络的结构双路径。X3D更像是扩展策略创新它在一个相对简单的单路径3D卷积架构上研究如何最优地分配计算资源。可以说X3D的扩展思想甚至可以应用到SlowFast这样的架构上去指导其不同路径的缩放。在实际项目中如果你的目标是追求极致的精度且计算资源充足SlowFast或更大的I3D变体可能是首选。但如果你需要在嵌入式设备、手机端或者需要高吞吐量的云服务上部署X3D系列特别是X3D-S, X3D-M提供的精度-速度权衡往往更具吸引力。我曾在一个边缘计算盒子部署的项目中对比了X3D-M和一个小型化的SlowFast在相近的FLOPs下X3D-M在特定动作数据集上反而有1-2个点的精度优势且实现起来更简单。3. X3D网络架构详解与关键实现技巧理解了扩展哲学我们来看看X3D具体长什么样以及实现时有哪些坑需要避开。3.1 基线网络与主干结构X3D的基线模型是一个轻量化的3D CNN。通常它采用类似MobileNet V2或ResNet的瓶颈块Bottleneck Block设计但将2D卷积替换为3D卷积。一个标准的X3D块包含以下层一个1x1x1的3D卷积用于升维扩展通道数。一个3x3x3的深度可分离3D卷积Depthwise Separable 3D Conv用于进行时空特征提取。这是降低计算量的关键。一个1x1x1的3D卷积用于降维。如果输入输出维度匹配会添加一个快捷连接Shortcut Connection。整个网络由多个阶段Stage组成每个阶段包含若干个这样的块并且在阶段之间通常通过一个步长为2的3D卷积或池化来进行时空下采样从而扩大感受野并降低特征图尺寸。3.2 深度可分离3D卷积的实现要点这是X3D轻量化的核心。2D的深度可分离卷积大家很熟了分为逐通道卷积Depthwise Conv和逐点卷积Pointwise Conv。扩展到3D时需要特别注意Depthwise 3D Conv: 卷积核的形状是(kernel_t, kernel_h, kernel_w, 1, in_channels)。它对输入的每个通道独立地在时空三维上进行卷积。这是计算的主要部分但参数量仅为kernel_t * kernel_h * kernel_w * in_channels。Pointwise 3D Conv: 实际上就是一个1x1x1的普通3D卷积负责通道间的信息融合。其参数量为1 * 1 * 1 * in_channels * out_channels。在PyTorch中没有直接的DepthwiseConv3d我们需要用groups参数来实现import torch.nn as nn # 标准3D卷积 std_conv nn.Conv3d(in_channels256, out_channels256, kernel_size3, padding1) # 参数量: 3*3*3*256*256 ≈ 1.77M # 深度可分离3D卷积 depthwise_conv nn.Conv3d(in_channels256, out_channels256, kernel_size3, padding1, groups256) # groupsin_channels 实现逐通道卷积 pointwise_conv nn.Conv3d(in_channels256, out_channels256, kernel_size1) # 参数量: (3*3*3*256) (1*1*1*256*256) ≈ 17K 65K 82K可以看到参数量减少了超过20倍。这是X3D系列模型能够保持轻量的基石。注意使用groups参数实现深度可分离卷积时务必确保in_channels和out_channels都能被groups整除。在深度可分离卷积的Depthwise部分我们通常设置out_channels in_channels且groupsin_channels。3.3 扩展的具体操作以X3D-M为例假设我们从最小的X3D-S开始要扩展到X3D-M论文中给出的典型操作是扩展时间维度将输入片段长度从16帧增加到32帧。这直接增加了模型“看到”的时间上下文。扩展空间分辨率将输入帧大小从160x160提高到224x224。这让模型能看清更细节的纹理。增加网络宽度将通道数的宽度乘子从1.0提高到1.2。即每一层的通道数变为原来的1.2倍。增加网络深度在每个阶段增加1-2个残差块。这些操作不是同时进行的而是遵循前面提到的扩展曲线按性价比顺序执行。在代码实现时这通常意味着我们需要编写一个灵活的模型工厂函数通过参数来控制这些维度def build_x3d(depth: int, width_mult: float, input_clip_length: int, input_crop_size: int): # 根据 depth 配置每个阶段的块数 # 根据 width_mult 计算每个阶段的通道数 # 模型的前处理层需要适配 input_clip_length 和 input_crop_size ...3.4 训练与推理中的实用技巧数据预处理视频模型的训练对数据增强非常敏感。除了常见的空间增强随机裁剪、水平翻转时间上的增强也很重要如随机时间采样、帧间差分突出运动等。X3D论文中使用了强度较大的随机裁剪和翻转。优化策略由于3D模型参数多容易过拟合通常需要更长的预热Warm-up周期让学习率从0慢慢增加到初始值有助于训练稳定。权重衰减Weight Decay使用相对较大的权重衰减如1e-4来正则化模型。梯度裁剪Gradient Clipping防止训练初期梯度爆炸。在大数据集上预训练如果目标数据集较小在Kinetics、Something-Something V2等大型视频数据集上预训练是几乎必须的。推理优化部署时可以考虑TensorRT / ONNX Runtime对模型进行图优化和层融合特别是将“Conv3d BN ReLU”序列融合为单个操作能显著提升推理速度。半精度FP16推理大多数现代GPU支持FP16能减半内存占用并提升吞吐量对精度影响很小。时间上的滑动窗口对于长视频可以采用重叠滑动窗口进行预测然后对窗口结果进行平均或投票作为整个视频的预测结果。4. 实战基于PyTorch复现X3D并应用于自定义数据集理论说了这么多不跑通代码都是空谈。下面我们一步步搭建一个简化版的X3D并在一个自定义动作数据集上进行训练和评估。这里我们以X3D-S为蓝本。4.1 环境准备与依赖安装首先确保你的环境有PyTorch1.7和Torchvision。视频处理我们常用decord或opencv-python这里用decord因为它效率高且与深度学习框架集成好。pip install torch torchvision pip install decord pip install av # PyAV 另一个可选的后端 pip install einops # 方便做张量操作4.2 构建X3D-S模型组件我们先定义核心的深度可分离3D卷积块和阶段Stage。import torch import torch.nn as nn import torch.nn.functional as F from einops import rearrange class Conv3dDepthwise(nn.Module): 深度可分离3D卷积块 Depthwise Conv3d Pointwise Conv3d def __init__(self, in_planes, out_planes, kernel_size3, stride1, padding1): super().__init__() self.depthwise nn.Conv3d(in_planes, in_planes, kernel_sizekernel_size, stridestride, paddingpadding, groupsin_planes, biasFalse) self.bn1 nn.BatchNorm3d(in_planes) self.pointwise nn.Conv3d(in_planes, out_planes, kernel_size1, biasFalse) self.bn2 nn.BatchNorm3d(out_planes) def forward(self, x): out F.relu(self.bn1(self.depthwise(x))) out self.bn2(self.pointwise(out)) return out class X3DBlock(nn.Module): X3D的基础残差块采用先升维再降维的瓶颈设计 def __init__(self, in_planes, planes, stride1, expansion4): super().__init__() mid_planes planes // expansion self.conv1 nn.Conv3d(in_planes, mid_planes, kernel_size1, biasFalse) self.bn1 nn.BatchNorm3d(mid_planes) self.conv2 Conv3dDepthwise(mid_planes, mid_planes, stridestride) self.conv3 nn.Conv3d(mid_planes, planes, kernel_size1, biasFalse) self.bn3 nn.BatchNorm3d(planes) self.relu nn.ReLU(inplaceTrue) self.downsample None if stride ! 1 or in_planes ! planes: self.downsample nn.Sequential( nn.Conv3d(in_planes, planes, kernel_size1, stridestride, biasFalse), nn.BatchNorm3d(planes) ) def forward(self, x): identity x out self.relu(self.bn1(self.conv1(x))) out self.relu(self.conv2(out)) # conv2内部有BN和ReLU out self.bn3(self.conv3(out)) if self.downsample is not None: identity self.downsample(identity) out identity out self.relu(out) return out4.3 组装完整的X3D-S网络接下来我们按照X3D论文中X3D-S的配置简化版来组装网络。这里我们设定输入为(batch, 3, 16, 160, 160)即16帧160x160的RGB片段。class X3D_S(nn.Module): def __init__(self, num_classes400, width_mult1.0): super().__init__() # 根据width_mult调整通道基数 base_channels [24, 48, 96, 192] self.channels [int(c * width_mult) for c in base_channels] # 初始的stem层快速下采样 self.stem nn.Sequential( nn.Conv3d(3, self.channels[0], kernel_size(1, 3, 3), stride(1, 2, 2), padding(0, 1, 1), biasFalse), nn.BatchNorm3d(self.channels[0]), nn.ReLU(inplaceTrue), nn.Conv3d(self.channels[0], self.channels[0], kernel_size(3, 3, 3), stride(1, 2, 2), padding(1, 1, 1), biasFalse), nn.BatchNorm3d(self.channels[0]), nn.ReLU(inplaceTrue), ) # 四个阶段 (stage2, stage3, stage4, stage5) self.layer1 self._make_layer(self.channels[0], self.channels[1], blocks3, stride2) # /4 self.layer2 self._make_layer(self.channels[1], self.channels[2], blocks5, stride2) # /8 self.layer3 self._make_layer(self.channels[2], self.channels[3], blocks11, stride2) # /16 # 注意原版X3D-S在layer3后可能还有layer4这里为简化只到layer3 # 全局时空平均池化 self.avgpool nn.AdaptiveAvgPool3d((1, 1, 1)) # 分类头 self.fc nn.Linear(self.channels[3], num_classes) # 初始化权重 for m in self.modules(): if isinstance(m, nn.Conv3d): nn.init.kaiming_normal_(m.weight, modefan_out, nonlinearityrelu) elif isinstance(m, nn.BatchNorm3d): nn.init.constant_(m.weight, 1) nn.init.constant_(m.bias, 0) def _make_layer(self, in_planes, planes, blocks, stride): layers [] # 第一个块进行下采样 layers.append(X3DBlock(in_planes, planes, stridestride)) for _ in range(1, blocks): layers.append(X3DBlock(planes, planes, stride1)) return nn.Sequential(*layers) def forward(self, x): # x: (B, C, T, H, W) x self.stem(x) x self.layer1(x) x self.layer2(x) x self.layer3(x) x self.avgpool(x) x torch.flatten(x, 1) x self.fc(x) return x # 实例化模型 model X3D_S(num_classes10) # 假设我们有10个动作类别 print(f模型参数量: {sum(p.numel() for p in model.parameters()) / 1e6:.2f} M)4.4 准备自定义数据集假设我们有一个自定义的动作识别数据集视频文件存放在video_root下每个视频对应一个标签。我们需要一个Dataset类来加载视频片段。import os from torch.utils.data import Dataset, DataLoader import decord class VideoActionDataset(Dataset): def __init__(self, video_root, annotation_file, clip_length16, crop_size160, frame_rate5): self.video_root video_root self.clip_length clip_length self.crop_size crop_size self.frame_rate frame_rate # 读取标注文件格式video_path label with open(annotation_file, r) as f: self.samples [line.strip().split() for line in f.readlines()] def __len__(self): return len(self.samples) def __getitem__(self, idx): video_path, label self.samples[idx] video_path os.path.join(self.video_root, video_path) label int(label) # 使用decord读取视频 vr decord.VideoReader(video_path) total_frames len(vr) # 计算需要采样的总帧数考虑帧率 needed_frames self.clip_length # 均匀时间采样 if total_frames needed_frames: # 视频太短循环填充 indices list(range(total_frames)) [0] * (needed_frames - total_frames) else: step max(total_frames // needed_frames, 1) start torch.randint(0, max(1, total_frames - needed_frames * step), (1,)).item() indices list(range(start, start needed_frames * step, step))[:needed_frames] # 获取帧数据 (T, H, W, C) frames vr.get_batch(indices).asnumpy() # 形状: [T, H, W, C] frames torch.from_numpy(frames).float() / 255.0 # 转为Tensor并归一化到[0,1] # 调整维度顺序为 (C, T, H, W) 并应用简单的空间裁剪/缩放 frames frames.permute(3, 0, 1, 2) # [C, T, H, W] # 这里简化处理直接中心裁剪和缩放。实际训练应用随机裁剪和翻转。 frames F.interpolate(frames.unsqueeze(0), size(self.clip_length, self.crop_size, self.crop_size), modetrilinear, align_cornersFalse).squeeze(0) # 标准化 (使用ImageNet均值方差) mean torch.tensor([0.485, 0.456, 0.406]).view(3, 1, 1, 1) std torch.tensor([0.229, 0.224, 0.225]).view(3, 1, 1, 1) frames (frames - mean) / std return frames, label # 创建数据加载器 train_dataset VideoActionDataset(video_rootpath/to/videos, annotation_filetrain.txt, clip_length16, crop_size160) train_loader DataLoader(train_dataset, batch_size8, shuffleTrue, num_workers4)4.5 模型训练与验证循环有了模型和数据就可以开始训练了。这里给出一个最基础的训练循环框架。import torch.optim as optim from torch.optim.lr_scheduler import CosineAnnealingLR device torch.device(cuda if torch.cuda.is_available() else cpu) model X3D_S(num_classes10).to(device) criterion nn.CrossEntropyLoss() optimizer optim.SGD(model.parameters(), lr0.01, momentum0.9, weight_decay1e-4) scheduler CosineAnnealingLR(optimizer, T_max50) # 假设训练50个epoch num_epochs 50 for epoch in range(num_epochs): model.train() running_loss 0.0 for i, (clips, labels) in enumerate(train_loader): clips, labels clips.to(device), labels.to(device) optimizer.zero_grad() outputs model(clips) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() if i % 10 9: print(fEpoch [{epoch1}/{num_epochs}], Step [{i1}/{len(train_loader)}], Loss: {running_loss/10:.4f}) running_loss 0.0 scheduler.step() # 每个epoch结束后可以进行验证 # validate(model, val_loader, device, criterion)重要提示以上代码是一个高度简化的示例用于说明流程。实际应用中你需要处理更复杂的数据增强如多尺度随机裁剪、颜色抖动、时间上的随机采样/反转、学习率预热Warm-up、混合精度训练AMP、模型保存与加载、详细的评估指标如Top-1/Top-5准确率等。此外自定义数据集通常规模较小强烈建议在大型公开数据集如Kinetics-400上预训练模型然后进行微调Fine-tuning这是提升小数据集性能最有效的方法。5. 性能调优与部署落地中的“坑”与对策模型跑起来只是第一步要让它在实际业务中稳定、高效地工作还有很长的路要走。下面分享几个我在项目落地中遇到的典型问题和解决思路。5.1 精度上不去检查数据与训练策略问题现象模型在训练集上过拟合在验证集上精度远低于预期或者根本学不动。排查与解决数据质量是根本视频动作识别对数据质量异常敏感。首先检查你的标注是否准确同一个“挥手”动作是从开始挥到结束算一个样本还是只截取中间部分标签定义模糊是精度低的常见原因。建议可视化一批样本人工检查标签是否正确。数据增强的强度3D CNN容易过拟合需要强数据增强。除了空间上的随机裁剪、翻转可以尝试时间裁剪从长视频中随机截取固定长度的片段。时间抖动以随机帧率采样模拟快慢动作。颜色扰动调整亮度、对比度、饱和度。CutMix或MixUp在视频层面进行混合能有效提高泛化能力但对计算和实现要求较高。学习率与优化器3D模型训练不稳定。务必使用学习率预热。例如在前5个epoch内将学习率从0线性增加到初始值如0.01。使用CosineAnnealingLR或带重启的余弦退火调度器通常比StepLR效果更好。优化器方面SGD with Momentum仍然是主流Adam系列有时在收敛后精度略差。梯度爆炸/消失监控训练初期的梯度范数。如果发生梯度爆炸尝试减小初始学习率或加入梯度裁剪torch.nn.utils.clip_grad_norm_。对于非常深的X3D变体如X3D-XXL确保每个残差块都有有效的快捷连接并检查初始化。5.2 推理速度慢模型压缩与引擎优化问题现象模型精度达标但推理一帧视频需要几百毫秒无法满足实时性要求。优化策略选择合适尺寸的X3D这是最直接的方法。X3D家族提供了从S到XXL的选项。在移动端X3D-S或X3D-M通常是首选。可以用模型在验证集上的精度-FLOPs曲线结合你的延迟要求来挑选。剪枝与量化通道剪枝分析模型中每个卷积层的权重重要性剪掉不重要的通道。对于3D卷积由于时间维度的存在剪枝需要更谨慎最好使用针对视频模型的剪枝工具。量化将模型权重和激活从FP32转换为INT8能大幅减少内存占用和加速计算。PyTorch提供了torch.quantization模块。量化3D模型时需要仔细校准Calibration选择有代表性的校准数据集否则精度损失可能较大。实测经验对X3D-M进行动态量化Post-Training Dynamic Quantization在CPU上能获得2-3倍的加速精度损失在1%以内进行静态量化Static Quantization并配合TensorRT在GPU上加速效果更明显。推理引擎优化TensorRTNVIDIA GPU上的终极优化方案。将PyTorch模型导出为ONNX然后用TensorRT解析、优化并生成高度优化的引擎。TensorRT会对算子进行融合如ConvBNReLU并利用GPU的Tensor Core进行低精度计算。这个过程可能会遇到一些不支持的算子需要自定义插件或寻找替代实现。ONNX Runtime跨平台推理引擎对CPU和多种GPU都有良好支持优化不如TensorRT激进但更通用。移动端对于Android/iOS可以考虑使用TFLite将PyTorch模型先转ONNX再转TFLite或Core ML苹果生态。注意移动端上对算力和内存的限制更严格X3D-S可能是极限。5.3 内存占用过高批处理与帧采样技巧问题现象处理高分辨率长视频时即使批大小Batch Size设为1也出现CUDA out of memory错误。解决方案梯度累积如果是因为Batch Size太小影响训练稳定性可以使用梯度累积。例如目标Batch Size是32但GPU只能放下8那么就每4个迭代accum_steps4才更新一次权重每次迭代的梯度累加不清零。optimizer.zero_grad() for i, (data, target) in enumerate(train_loader): output model(data) loss criterion(output, target) / accum_steps # 损失按累积步数平均 loss.backward() if (i1) % accum_steps 0: optimizer.step() optimizer.zero_grad()混合精度训练使用AMPAutomatic Mixed Precision让部分计算在FP16下进行可以有效减少显存占用并加速训练。PyTorch中集成得很简单。from torch.cuda.amp import autocast, GradScaler scaler GradScaler() for data, target in train_loader: optimizer.zero_grad() with autocast(): output model(data) loss criterion(output, target) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()推理时优化输入在推理阶段如果视频很长不要一次性输入全部帧。可以采用滑动窗口的方式将长视频切分成多个不重叠或重叠的16帧片段分别推理然后对结果进行平均或投票。这虽然增加了推理次数但保证了单次推理的内存可控。降低输入分辨率这是最后的手段。将输入空间分辨率从224x224降到160x160甚至112x112能平方倍地减少显存占用和计算量但会损失空间细节信息需要重新评估精度。5.4 领域适配难题当预训练模型遇到新场景问题场景你在Kinetics-400上预训练的X3D模型直接用到工厂的“设备巡检动作识别”或医院的“康复训练动作评估”上效果很差。原因与对策领域分布差异Kinetics包含的是日常、体育等互联网视频与工业、医疗场景的视角、背景、人物着装、动作幅度差异巨大。解决方案数据是关键尽可能收集目标场景的数据哪怕只有几百个样本。用这些数据对预训练模型进行微调。冻结主干网络的前几层只训练后面的层和分类头通常能取得不错的效果。领域自适应如果目标域数据无标签可以考虑无监督领域自适应UDA方法但实现复杂效果不稳定。修改输入模态Kinetics是RGB模型。如果你的场景有深度摄像头或红外摄像头可以考虑早期融合将深度图作为额外通道输入或双流网络RGB流深度流。这需要修改模型输入层和早期的融合策略。关注时序结构有些动作如“拧螺丝”、“举哑铃”的关键在于特定的时序顺序。标准的3D CNN可能对时序顺序不敏感。可以尝试引入非局部网络Non-local Network或时间Transformer模块来增强长程时序依赖的建模。这相当于在X3D的基础上做“加法”会增加计算量需要权衡。在我参与的一个工业安全项目中需要识别工人是否佩戴安全帽。我们使用了在Kinetics上预训练的X3D-M但初期精度很低。后来我们收集了约5000段工厂监控视频片段进行微调同时将模型的第一层卷积核大小从(1,3,3)改为(3,3,3)让模型在更早的阶段融合时间信息因为安全帽的识别需要结合头部运动最终将mAP提升了超过15个百分点。这个案例说明预训练模型是强大的起点但针对性的数据和对模型架构的微小调整往往是项目成功的关键。