【免费下载链接】VideoMAE2项目地址https://ai.gitcode.com/OpenGVLab/VideoMAE2点击查看免费下载VideoMAE2 是 OpenGVLab 开源的视频基础模型Video Foundation Model本仓库集中存放了 mae-s 到 mae-h 共 5 档规模的预训练权重。本教程带你 5 分钟完成 VideoMAE2 权重下载并跑通第一个视频特征提取拿到可用于检索、分类与视频理解的特征向量。一、VideoMAE2 是什么为什么值得上手VideoMAE2 基于掩码自编码器Masked Autoencoder, MAE框架通过大规模视频-文本共同训练co-training得到在 Kinetics-400 等主流视频分类榜单上曾刷新纪录。它的核心价值是输入一段视频输出一组高质量特征向量embedding供下游检索、分类、生成等任务复用。支持 5 种模型规模mae-s、mae-b、mae-l、mae-g、mae-h精度与显存需求递增官方定位即为 feature extraction特征提取见 README.md 中的pipeline_tag旗舰版 mae-g 采用 Hybrid 混合编码器结构效果最强二、仓库结构与权重文件清单本仓库是一个纯权重仓库不含推理代码目录按模型规模划分目录权重文件文件大小说明distill/vit_s_k710_dl_from_giant.pth42 MB由 Giant 蒸馏的轻量版Kinetics-710 训练distill/vit_b_k710_dl_from_giant.pth165 MB由 Giant 蒸馏的 B 版mae-b/pytorch_model.bin658 MBB 版预训练权重transformers 格式mae-l/pytorch_model.bin2.3 GBL 版预训练权重mae-h/pytorch_model.bin4.7 GBH 版预训练权重mae-g/vit_g_hybrid_pt_1200e.pth3.8 GBG 版 Hybrid 预训练权重1200 epochsmae-g/vit_g_hybrid_pt_1200e_k710_ft.pth1.9 GBG 版在 Kinetics-710 上微调mae-g/vit_g_hybrid_pt_1200e_ssv2_ft.pth1.9 GBG 版在 SSv2 上微调mae-g/vit_g_ps14_ak_ft_ckpt_7_clean.pth1.9 GBG 版其他微调检查点 命名规律k710 Kinetics-710 数据集ssv2 Something-Something-v2dl knowledge distillation知识蒸馏ft 微调fine-tune。新手怎么选只想先跑通流程 → 选 distill/vit_s_k710_dl_from_giant.pth42 MB最快兼顾速度与精度 → 选 mae-b658 MB追求最强效果 → 选 mae-g需要大显存 GPU三、如何下载 VideoMAE2 权重两种方式方式一git clone 克隆本仓库适合需要本地管理权重的场景git clone https://gitcode.com/OpenGVLab/VideoMAE2.git cd VideoMAE2 git lfs install git lfs pull所有权重均通过 Git LFS 存储配置见 .gitattributes必须安装git-lfs才能拉取真实权重文件。方式二用 transformers 按需自动下载推荐新手mae-b/l/h为 transformers 标准格式代码里写模型 ID 即可from_pretrained会自动下载并缓存到本地无需手动 clone只下载你要的那一个模型。四、5分钟跑通首个视频特征提取1. 准备环境pip install torch torchvision transformers2. 加载模型并提取特征以 mae-b 为例本仓库 mae-b/pytorch_model.bin 即对应权重from transformers import AutoModel, AutoImageProcessor from PIL import Image import torch model AutoModel.from_pretrained(OpenGVLab/VideoMAE2-mae-b) processor AutoImageProcessor.from_pretrained(OpenGVLab/VideoMAE2-mae-b) model.eval() # 1) 准备视频帧从视频中均匀抽 32 帧frame_00.jpg ~ frame_31.jpg frames [Image.open(fframe_{i:02d}.jpg) for i in range(32)] # 2) 预处理自动缩放、归一化 inputs processor(frames, return_tensorspt) # 3) 提取视频特征 with torch.no_grad(): outputs model(**inputs) feats outputs.last_hidden_state print(feats.shape) # [1, 视频token数, 特征维度] # 取 [CLS] 作为整段视频的全局向量可直接用于检索/分类 video_vector feats[:, 0] print(video_vector.shape)运行成功后video_vector就是这段视频的数字指纹同一模型下内容相似的视频向量距离更近。3. 输出怎么理解last_hidden_state每个视频 token 的特征向量video_vector[CLS]整段视频的全局表示最常用对两个视频的video_vector做余弦相似度即可实现零样本视频检索五、新手常见问题FAQQ1下载到的权重文件只有几百字节说明拿到的是 Git LFS 指针文件而非真实权重本仓库全部权重均为 LFS 大文件。执行git lfs install git lfs pull重新拉取即可。Q2.pth 和 pytorch_model.bin 有什么区别pytorch_model.binmae-b/l/htransformers 标准格式AutoModel.from_pretrained可直接加载.pthmae-g、distill官方训练流程导出的原生 PyTorch 检查点需配合官方推理代码或自行转换格式后加载Q3我的显存不够怎么办优先选 mae-b658 MB或 distill 下的 s/b 小模型mae-g、mae-h 建议 24 GB 以上显存的 GPU。在 CPU 上跑通小模型流程也是可行的。Q4仓库里没有推理代码在哪里本仓库定位为纯权重仓库模型元信息见 README.mdpipeline_tag: feature-extraction。推理逻辑由 transformers 中的 VideoMAE2 模型类承载mae-g 与 distill 权重请参考官方开源代码库使用。六、小结你的 5 分钟路线步骤预计耗时下载权重clone 或自动缓存~2 分钟安装依赖~1 分钟加载模型 特征提取~2 分钟至此你已完整跑通 VideoMAE2 视频特征提取链路下载权重 → 加载模型 → 抽取视频向量。后续可尝试更换帧数、输入分辨率或模型规模观察特征在下游检索任务中的表现差异。赞分享【免费下载链接】VideoMAE2项目地址https://ai.gitcode.com/OpenGVLab/VideoMAE2点击查看免费下载相关推荐新手教程如何快速上手MiniMax-H3-Acc-LoRAs-ComfyUI5分钟跑通8步视频生成新手教程如何快速上手MiniMax H3 Acc LoRAs ComfyUI5分钟跑通8步视频生成 MiniMax H3 Acc LoRAs ComfyUI如何10分钟跑通EXAONE-3.5-2.4B-Instruct_rai_1.8.0_medusa_1.0_npuModelScope下载与首次推理快速上手教程如何10分钟跑通EXAONE 3.5 2.4B Instruct_rai_1.8.0_medusa_1.0_npuModelScope下载与首次推理快速上手教大模型基础模型如何快速上手 KKManager5分钟完成首个角色与 Mod 安装的完整新手教程如何快速上手 KKManager5分钟完成首个角色与 Mod 安装的完整新手教程 KKManager 是一款专为 Illusion 系列游戏Koikatsu桌面应用上一篇DeltaSplice-Human终极RNA剪接位点预测工具一文读懂其核心功能与应用场景下一篇键盘失灵不用慌macOS硬件故障诊断神器Karabiner-Elements实战指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考