【免费下载链接】MOVAA foundation model that generates synchronized video and audio in a single model项目地址https://gitcode.com/gh_mirrors/mova4/MOVA点击查看免费下载MOVAMOSSVideo andAudio是一款完全开源的音视频同步生成基础模型它不像传统先出视频、再补配音的级联流水线而是在单次推理中同时生成高保真视频与精准同步的音频让开源社区第一次拥有了媲美 Sora 2、Veo 3、Kling 等闭源旗舰的音画一体能力。模型权重、推理代码、训练流程、LoRA 微调脚本全部公开新手也能快速上手 为什么 MOVA 值得新手关注长期以来视频带声音的能力基本被闭源模型垄断开源方案大多靠两个模型拼接视频模型 配音模型容易产生音画错位、错误累积。MOVA 的核心突破在于原生双模态生成视频和音频在同一次推理中同步合成从架构上消除音画对不齐的问题精准口型同步与环境音效多语种唇形同步Lip-Sync达到 SOTA 水平还能生成与画面匹配的环境音非对称双塔架构复用了预训练的视频塔和音频塔通过双向交叉注意力Bidirectional Cross-Attention实现模态间深度交互相关实现见 mova/diffusion/models/interactionv2.py全开源权重、推理、训练、LoRA 微调、评测代码一应俱全还支持 ComfyUI 插件与 SGLang 高吞吐推理下图是 MOVA 官方演示中单人演讲场景的参考首帧图配合提示词即可生成带同步语音的视频快速上手三步跑通第一个音画同步视频一键安装步骤# 1. 克隆仓库 git clone https://gitcode.com/gh_mirrors/mova4/MOVA cd MOVA # 2. 创建环境并安装 conda create -n mova python3.13 -y conda activate mova pip install -e .模型下载模型说明MOVA-360p轻量版支持 TI2VA图文生成音视频MOVA-720p高分辨率版支持 TI2VA两个权重均可从 HuggingFace 的OpenMOSS-Team空间用hf download下载。最快推理命令以单人演讲场景为例完整参数见 scripts/inference_single.pytorchrun --nproc_per_node1 scripts/inference_single.py \ --ckpt_path /path/to/MOVA-360p/ \ --cp_size 1 \ --height 352 --width 640 \ --prompt A man in a blue blazer and glasses speaks in a formal indoor setting... \ --ref_path ./assets/single_person.jpg \ --output_path ./data/samples/single_person.mp4 \ --seed 42 \ --offload cpu几个新手友好的关键参数--offload cpu组件级 CPU 卸载显存降到 48GB适合单卡 4090 推理--offload group更细粒度的分组卸载显存仅需 12GB但更耗主机内存--remove_video_dit配合 offload 可再省约 28GB 主机内存推理性能参考8 秒 360p 视频卸载策略显存硬件单步耗时组件级 offload48 GBRTX 409037.5 s组件级 offload48 GBH1009.0 s分组级 offload12 GBRTX 409042.3 s分组级 offload12 GBH10022.8 s此外 MOVA 还有SGLang Day-0 集成支持多卡并行如 8 卡 ring ulysses 并行和在线 API 服务适合需要高吞吐部署的团队。效果实测Verse-Bench 与人类评估双双领先在音视频生成基准 Verse-Bench 上MOVA 在口型同步这一差距最大的赛道上优势明显开启 Dual CFG 后MOVA-720p 的 LSE-D 达到7.094、LSE-C 达到7.452且多说话人识别准确率cpCER也是最佳更直观的是人类评估Arena 主观对战MOVA-720p 以1113.8的 Elo 分位居第一超过 LTX-21074.1、OVI925.4和 WAN2.1MMAudio886.9胜率方面MOVA-720p 对 WAN2.1MMAudio 胜率达 71.9%对 OVI 达 70.3%多说话人对话场景如图中父子公园对话是 MOVA 的强项参考首帧图可参考仓库中的 assets/multi_person.png自带评测工具链11 项指标量化音画质量仓库内置完整的评测代码 evaluation/提供7 大类 11 项指标覆盖音频质量DNSMOS、音画对齐DeSync、AV-Align、IB-Score、唇形同步LSE-D/LSE-C、视频质量VideoReward、说话人准确率cpCER等方便你训练自己的 LoRA 后客观验证效果主评测入口evaluation/scripts/run_eval.sh指标脚本示例evaluation/metrics/dnsmos/eval_dnsmos.py、evaluation/metrics/cpcer/eval_cpcer.py低成本二次创作LoRA 微调与 AI 辅助工作流想训练自己的专属声音 专属形象MOVA 提供了三档 LoRA 训练配置位于 configs/training/模式显存需求适用硬件示例脚本低资源 LoRA≈18 GB/卡单卡 RTX 4090scripts/training_scripts/example/low_resource_train.shAccelerate LoRA≈100 GB单卡 H100scripts/training_scripts/example/accelerate_train.shFSDP LoRA8 卡≈50 GB/卡8×H100scripts/training_scripts/example/accelerate_train_8gpu.sh 小贴士官方建议 4090 用户把训练分辨率降到 240p 或减少帧数速度会快很多。微调完成后可用 scripts/inference_single_lora.py 加载 LoRA 权重推理。不想敲命令仓库还内置了一个AI 辅助 Web 工作流workflow/用文字描述场景 → AI 自动补齐首帧图 → 提取视觉元素并重写提示词 → MOVA 生成带声音的视频全流程在 Streamlit 页面上完成。下图就是工作流自动生成的猫咪玩毛线球首帧常见问题 FAQQ1我的显卡只有 24GB 显存能跑吗可以。使用--offload cpu48GB 显存档需 48GB 显存起步若显存更小可用--offload group降到 12GB 显存代价是速度更慢、主机内存占用更高约 76GB。Q2MOVA 支持纯文生视频音频T2VA吗支持。在完整工作流中上传一张纯白图片作为首帧再提供文本提示词即可测试纯文本到音视频的生成能力。Q3有哪些使用途径本地脚本推理scripts/、SGLang 高吞吐部署、ComfyUI 社区插件comfyui-mova、官方托管 API以及 Streamlit 工作流总有一款适合你。Q4国产 NPU 能用吗官方支持 Ascend NPU 的推理与训练相关说明见仓库 NPU 支持文档。写在最后MOVA 用一次推理同时产出画面 声音把过去视频模型 配音模型两级拼接的误差彻底留在身后且从权重到评测代码全部开源。对于想在本地玩音画同步生成的新手、希望二次创作的开发者或是需要私有化部署的团队这基本是目前开源生态里的最优解。建议按本文三步上手跑通第一个视频再用 LoRA 微调做出你的专属效果 赞分享【免费下载链接】MOVAA foundation model that generates synchronized video and audio in a single model项目地址https://gitcode.com/gh_mirrors/mova4/MOVA点击查看免费下载相关推荐14款星露谷物语SMAPI模组打造你的智能农场革命14款星露谷物语SMAPI模组打造你的智能农场革命 在星露谷物语的宁静田园生活中你是否曾为重复的机器操作感到疲惫是否曾在迷宫般的储物箱中寻找一件物品而浪费游戏开发Bark终极指南从零开始掌握文本生成音频的完整工作流Bark终极指南从零开始掌握文本生成音频的完整工作流 想象一下你只需要几行代码就能让计算机开口说话甚至还能唱出你写的歌词。Bark正是这样一个革命性的文本人工智能语音音频媒体生成大模型基础模型Lucy Edit Dev首个开源指令引导视频编辑模型的架构解析与性能优化Lucy Edit Dev首个开源指令引导视频编辑模型的架构解析与性能优化 Lucy Edit Dev是首个开源的指令引导视频编辑模型采用基于文本提示的视频人工智能深度学习大模型音视频创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考