【免费下载链接】OpenWAMOfficial repository for OpenWAM: An Open, Modular Exploration Towards Systematic World–Action Model Pretraining.项目地址https://gitcode.com/gh_mirrors/op/OpenWAM点击查看免费下载OpenWAMWorld-Action Model是一套面向世界-动作模型系统级预训练的开放研究框架。在 OpenWAM 的模块化架构中视频骨干Video Backbone是最核心的组件之一——它决定了模型的视觉表征能力、训练灵活性和推理效率。OpenWAM 内置了5 大视频骨干涵盖 Wan2.2、Wan2.1-VACE、Wan2.1-I2V、Cosmos-Predict2.5 和 Cosmos3-Edge本文带你从零理解每一款骨干的定位与能力边界。一、视频骨干在 OpenWAM 中的角色OpenWAM 的核心思想是将视频理解 动作预测建模为一个统一的生成问题。整个模型由三层组件构成视频骨干Video Backbone负责将原始视频帧编码为 latent 表征并以 DiT 的形式进行去噪/预测动作骨干Action Backbone预测机器人/操控动作序列架构层Architecture将上述两者通过 MoT、Cross-Attn、IDM 等方式耦合视频骨干通过统一的抽象接口 VideoBackbone 注册所有骨干必须实现prepare → run_block → finalize三步执行循环。这种设计使得切换视频骨干只需修改一行配置无需改动任何架构代码。所有内置骨干在 openwam/model/video_backbone/init.py 中注册注册表定义见 registry.py注册键Registry Key骨干名称配置文件wan22_ti2v_5bWan2.2-TI2V-5Bwan22_ti2v_5b.yamlwan21_vace_1_3bWan2.1-VACE-1.3Bwan21_vace_1_3b.yamlwan21_i2v_14b_480pWan2.1-I2V-14B-480Pwan21_i2v_14b_480p.yamlcosmos_predict25_2bCosmos-Predict2.5-2Bcosmos_predict25_2b.yamlcosmos3_edgeCosmos3-Edge (4B)cosmos3_edge.yaml二、逐一解析5 大骨干核心能力2.1 Wan2.2-TI2V-5B — 默认主力骨干注册键wan22_ti2v_5b·实现wan_backbone.py ·权重体积约 34 GBWan2.2-TI2V-5B 是 OpenWAM 的默认视频骨干所有架构配置默认选择它也是功能最丰富的一个能力维度说明外部编码器替换✅ 支持from_scratchtrue时可切换至 DINOv3 / V-JEPA 2.1 / FLUX.2 VAE从零训练from_scratch✅ 支持随机重初始化 DiT支持架构single_systemvanilla / moe、dual_system3 种变体、tri_system输入分辨率任意H, W % 32 0flow-matching shiftshift_video: 5.0训练与推理单一真值源DiT patch 大小(1, 2, 2)— 时间不压缩空间 2×2 压缩时间压缩4×VAEcausal first-frame token 当你需要替换视觉编码器做实验如换用 DINOv3 或 V-JEPA 2.1Wan2.2-TI2V-5B 是唯一支持此能力的骨干。2.2 Wan2.1-VACE-1.3B — 轻量 VACE 基线注册键wan21_vace_1_3b·实现wan_backbone.py ·权重体积约 19 GBWan2.1-VACE-1.3B 是固定预训练基线定位为轻量对照组能力维度说明外部编码器替换❌ 不支持仅原生 VAE从零训练from_scratch❌ 不支持输入分辨率480×832/720×1280固定档位VACE 条件通道✅ 内置 VACE 上下文注入vace_hints适用场景快速基线实验、对比 VACE 条件注入路径2.3 Wan2.1-I2V-14B-480P — 高分辨率 I2V 基线注册键wan21_i2v_14b_480p·实现wan_backbone.py ·权重体积约 82 GBWan2.1-I2V-14B-480P 是大参数固定基线专为 image-to-video 场景设计能力维度说明外部编码器替换❌ 不支持从零训练❌ 不支持输入分辨率480×832固定首帧条件✅ 首帧作为无条件 latentneeds_first_frame_skip模型体积14B 参数是 5 个骨干中最大的适用场景高分辨率视频生成质量基线对比⚠️ 体积约 82 GB训练前请确认磁盘空间和显存推荐 8 卡 × 80 GB。2.4 Cosmos-Predict2.5-2B — NVIDIA 预训练体系注册键cosmos_predict25_2b·实现cosmos_predict25_backbone.py ·权重体积约 4.6 GB主模型 16.6 GBReason1 文本编码器Cosmos-Predict2.5 是 NVIDIA 的开放世界模型系列在 OpenWAM 中作为跨体系对比骨干引入能力维度说明外部编码器替换❌ 不支持vae: wan2pt1stride 4×8×8z_dim16从零训练❌ 不支持文本编码器Cosmos-Reason1-7B训练时在线运行推理时已内嵌CFG dropouttext_encoder_dropout控制训练时随机替换 prompt 为空串选择性激活检查点sac_mode: mm_only / block_wise以计算换显存text_dim1024自动派生无需手动配置 action_backbone支持架构dual_system3 种变体、single_systemvanilla/moe、tri_systemmodel_variant可选base/post-trained、base/distilled、auto/multiview、robot/multiview-agibot、robot/action-cond 使用此骨干前需初始化 git submodule 并运行安装脚本bash scripts/install_cosmos_predict25.sh2.5 Cosmos3-Edge 4B — 双流统一 Transformer注册键cosmos3_edge·实现cosmos3_backbone.py ·权重体积约 9.2 GBCosmos3-Edge 是 NVIDIA 最新的双流统一 Transformer架构设计哲学与前两者有本质区别能力维度说明外部编码器替换❌ 不需要内建理解流双路设计因果理解流und冻结 双向生成流gen可训练理解流冻结freeze_und: true构建时即冻结text_dim2048自动派生prompt 处理支持use_system_prompt、prompt_templates时长 分辨率元数据、max_text_tokens: 512时间帧率fps: 24.0vision mRoPE 时间缩放CFG dropouttext_encoder_dropout: 0.0可配置支持架构dual_system3 种、single_systemvanilla/moe、tri_system源码路径模型权重在assets/Cosmos3-Edgediffusers 格式 Cosmos3-Edge 的独特之处在于无需外部文本编码器——理解流und直接参与双路联合注意力推理时通过prefix_kv机制缓存文本 K/V 供生成流使用。三、横向对比速查表维度Wan2.2-TI2V-5BWan2.1-VACE-1.3BWan2.1-I2V-14BCosmos-Predict2.5-2BCosmos3-Edge权重体积~34 GB~19 GB~82 GB~21 GB含 Reason1~9.2 GBfrom_scratch✅❌❌❌❌外部编码器替换✅4 种❌❌❌❌分辨率灵活性任意 32 对齐480p / 720p 固定480p 固定依赖 VAE 档位依赖 VAE 档位文本编码器内建内建内建Reason1-7B训练时内建理解流VACE 条件注入—✅———双路架构————✅推荐 GPU 显存8×80GB8×80GB8×80GB4×80GB4×80GB默认骨干✅所有架构默认————四、外部编码器Wan2.2 专属扩展能力Wan2.2-TI2V-5B 是唯一支持视觉编码器热替换的骨干。当from_scratchtrue时可从以下 4 种编码器中选择编码器配置特征维度压缩率Wan2.2 原生 VAEwan22_vae.yamlz_dim484×8×8FLUX.2 VAEflux2_vae.yamlz_dim128每帧 2D VAEDINOv3 ViT-B/16dinov3.yaml来自 HF config无时间压缩V-JEPA 2.1 ViT-G/384vjepa21.yamlz_dim1408无时间压缩所有外部编码器源码位于 openwam/model/video_backbone/encoder/支持通过 S-VAE 降维器svae/reducer.py将原始嵌入压缩至目标维度如 48 维以匹配 Wan VAE。⚠️ 使用 DINOv3 或 V-JEPA 2.1 时必须同时设置from_scratchtrue因为 DiT patch embedding 需重建以适配新的 hidden size。五、快速开始一键下载与配置5.1 下载骨干权重OpenWAM 提供交互式下载器自动更新对应的 YAML 配置python scripts/download_assets/download_video_backbone.py或在非交互模式下直接指定python scripts/download_assets/download_video_backbone.py --name Wan2.2-TI2V-5B --source huggingface --yes下载器源码见 scripts/download_assets/download_video_backbone.py权重保存至assets/video_backbone_ckpt/并自动回写 configs/model/video_backbone/ 下的对应 YAML。5.2 在训练命令中切换骨干bash scripts/train.sh \ dataloaderlibero \ modeldual_system \ model/video_backbonewan22_ti2v_5b \ model.architecture.variantjoint_self_attn \ training.debugtrue将model/video_backbone替换为目标骨干名称即可切换无需修改任何 Python 代码。5.3 与架构变体搭配所有 5 个骨干均支持与以下架构变体组合配置见 configs/model/架构配置文件骨干兼容性single_system / vanillasingle_system.yaml全部 ✅single_system / moesingle_system.yaml全部 ✅dual_system / joint_self_attndual_system.yaml全部 ✅dual_system / joint_cross_attndual_system.yaml全部 ✅dual_system / idmdual_system.yamlWan Cosmos-Predict2.5 Cosmos3tri_system / joint_self_attntri_system.yaml全部 ✅需额外 VLM 骨干选型建议如果不确定选哪个直接用默认的wan22_ti2v_5b——它兼容性最广、文档最全、社区支持最完善。Cosmos 系列适合需要跨体系对比的场景。六、进阶骨干与 flow-matching shift 配置每个骨干的 YAML 中都包含shift_video字段它是 flow-matching 调度器的α-shift 单一真值源训练与推理共用Wan 系列默认5.0Cosmos3-Edge 中 NVIDIA 原始训练按分辨率档位配置256→3, 480→5, 720→10OpenWAM 在 480p 档训练取5.0如需切换外部编码器DINOv3 / V-JEPA 2.1推荐将shift_video调至12.0对应不同的噪声调度分布。七、扩展自定义骨干如需接入新视频骨干如自研 DiT只需三步继承 VideoBackbone 抽象类实现from_pretrained、prepare、run_block、finalize在 openwam/model/video_backbone/init.py 底部注册register_video_backbone(my_backbone)(MyClass)在 configs/model/video_backbone/ 下添加对应 YAML完整扩展指南见 architecture-extension.md。赞分享【免费下载链接】OpenWAMOfficial repository for OpenWAM: An Open, Modular Exploration Towards Systematic World–Action Model Pretraining.项目地址https://gitcode.com/gh_mirrors/op/OpenWAM点击查看免费下载相关推荐Wan2.2 Fun-VACE视频生成技术完整指南从入门到精通Wan2.2 Fun VACE视频生成技术完整指南从入门到精通 视频创作领域迎来革命性突破Wan2.2 Fun VACE模型作为阿里巴巴PAI团队的最新力作大模型计算机视觉模型量化掌握新一代视频生成技术Wan2.2 Fun-VACE完整应用指南掌握新一代视频生成技术Wan2.2 Fun VACE完整应用指南 视频创作领域正迎来一场技术革命阿里巴巴PAI团队独立研发的Wan2.2 Fun VACE模大模型计算机视觉模型量化Wan2.2 Fun-VACE终极指南三合一视频生成神器快速上手Wan2.2 Fun VACE作为阿里巴巴PAI团队推出的新一代视频生成模型首次将首尾帧控制、动态参考驱动与角色智能替换三大核心功能完美融合。这款革命性的AI大模型计算机视觉模型量化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考