资讯动态

Stable Video Infinity:一张首帧图生成 14 分钟无限长视频

发布时间:2026/10/21 1:48:47 来源:尧图企业网站定制
Stable Video Infinity一张首帧图生成 14 分钟无限长视频【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-InfinityStable Video InfinitySVI帮你把一张静态图片变成不漂移、不发糊、不遗忘的无限长视频喂给它一帧图和一串提示词它就一段一段地连续生成官方演示做到了 14 分钟。底层是 ICLR 2026 Oral 论文的 Error Recycling 技术只微调 LoRA完全开源、可本地跑。它凭什么做到无限长视频生成传统长视频生成在训练时只看干净画面推理时却只能以自己带误差的输出为条件误差逐段累积越生成越崩。SVI 的办法是 Error Recycling Fine-Tuning训练时故意把模型自己过去犯过的错注入输入逼它学会识别并纠正自己的错误——就像新人入职时先观摩一堆历史残次品之后自己手滑了也能看出来。推理时它按片段clip接力生成上一段的尾帧作为下一段的起点每段提示词还能独立更换。不需要额外推理成本14 分钟依然稳定。从零到出片硬件与环境GPU官方在 A100 80G 上验证底座是 Wan2.1-I2V-14B-480P 这个 14B 模型系统Linux CUDA 12.0conda 新建 Python 3.10 环境依赖torch 2.5.0 或 2.8.0、flash_attn、ffmpeg、librosa安装与权重下载git clone https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity cd Stable-Video-Infinity pip install -e .装完再补装 flash_attn2.8.0.post2以及 ffmpeg、librosa用 conda install -c conda-forge 安装flash-attn 编不过就看 README 里 FAQ 的说明。接着huggingface-cli login后下载底座模型和 SVI-2.0 的 LoRAhuggingface-cli download Wan-AI/Wan2.1-I2V-14B-480P --local-dir ./weights/Wan2.1-I2V-14B-480P huggingface-cli download vita-video-gen/svi-model version-2.0/SVI_Wan2.1-I2V-14B_lora_v2.0.safetensors --local-dir ./weights/Stable-Video-Infinity下完后weights/目录里底座和 LoRA 各就各位就可以生成了。跑出第一段长视频在仓库根目录执行bash scripts/test/svi_2.0.sh见 scripts/test/svi_2.0.sh首帧图和提示词流仓库都自带无需额外准备。终端会逐 clip 滚动输出进度跑完后去videos/svi_2.0/目录查看生成的 mp4。换成自己的素材把--ref_image_path改成你的图片、--prompt_path改成你自己的提示词文件文件内容写成prompts [..., ...]的列表格式每句对应 5 秒一个 clip。习惯 ComfyUI 的话把comfyui_workflow_svi_1.0/目录里的官方工作流 json 载入连上首帧和提示词即可注意 SVI LoRA 不能直接套用原版 Wan 2.1 工作流padding 设置不一样。最影响出片效果的 5 个参数num_clips→ 连续生成多少个 5 秒片段总时长就是 num_clips × 5 秒 → 从 10~20 开始不够再续cfg_scale_text→ 文本提示词对画面的影响力度太低跑题、太高发僵 → 5.0num_motion_frames→ 上一段传给下一段做运动先验的尾帧数量直接影响画面衔接是否连贯 → SVI-2.0/Film 用 5Shot/Talk 用 1seed → 每个 clip 的随机种子全用同一个值内容会重复、闪烁 → 每段换一个提示词流 → 每 5 秒的画面动作和镜头运动写成一句 → 镜头语言dolly-in、pan 等写得越具体越稳别只重复一句话踩坑清单现象画面闪烁或者内容原地循环重复。原因每个 clip 用了同一个 seed或在 ComfyUI 里把 SVI LoRA 直接套进了原版 Wan 2.1 工作流。处理每段 clip 换不同 seed并改用仓库comfyui_workflow_svi_1.0/里的官方工作流。现象生成中途爆显存CUDA out of memory。原因14B 模型常驻显存占用大。处理调小--num_persistent_param_in_dit降低常驻参数量并保持 480P 基础分辨率先跑通。现象长视频后半段跑题、色调整体偏移。原因所有 clip 重复用同一句提示词模型没有新内容可表达。处理换成提示词流每 5 秒一句把动作和镜头运动写清楚。进阶玩法数字人、舞蹈与自训练数字人 SVI-Talk人物图片加 5 分钟音频就能生成口型对得上的长对话视频音频需先跑 scripts/data_preprocess/prepare_video_audio.py 做预处理。舞蹈动画 SVI-Dance用骨骼姿态序列驱动人物动作预处理脚本在scripts/data_preprocess/prepare_video_pose.py示例姿态数据在data/toy_train/svi-dance/里可以直接拿来试。训自己的 SVI训练脚本和玩具数据data/toy_train/都开源了只微调 LoRA、数据量需求小改好路径跑 train_svi.py 就能用自己喜欢的视频风格训一版。【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑