资讯动态

Stable Video Infinity 完整指南:一张图如何变成无限长视频

发布时间:2026/10/21 3:57:11 来源:尧图企业网站定制
Stable Video Infinity 完整指南一张图如何变成无限长视频【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity只需一张静态图片你就能拿到一段持续几分钟都不糊、不漂的视频画面不变色、主体不消失、剧情不断线。Stable Video InfinitySVI基于 ICLR 2026 Oral 论文的 Error Recycling误差回收技术专治长视频生成的质量衰减训练、推理、评测代码全部开源。开箱即用安装与环境环境门槛不高官方在 A100 80G、CUDA 12.0 上验证torch 2.4.12.8.0 均可运行Python 建议 3.10。第1步克隆仓库并安装核心依赖git clone https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity cd Stable-Video-Infinity pip install -e .第2步补齐运行依赖依赖清单见 requirements.txtpip install flash_attn2.8.0.post2 conda install -c conda-forge ffmpeg librosa libiconv之后按 README 的「Model Preparation」一节把 Wan2.1-I2V-14B 基座模型与对应的 SVI LoRA 下载到weights/目录即可。SVI 本质是在 Wan 2.1 基座上微调的 LoRA文件较大预留足够磁盘再开始。环境就绪先跑通最短的图生视频建立成就感。从一张图到一段视频最小工作流第1步准备输入。放一张参考图和一个提示词文件官方示例在data/toy_test/shot/游艇图片和对应 prompt。图官方游艇样例的起始图——一张静态图作为输入SVI 将其逐段续写成长视频。第2步运行官方推理脚本 scripts/test/svi_shot.shbash scripts/test/svi_shot.sh脚本会自动加载参考图与提示词把视频一段一段往后续写结果保存在videos/svi_shot/。不想敲命令用 Gradio 界面点着玩支持 Film/Shot 模式切换bash gradio_demo.sh --shot现在你手里已经有一段能持续运镜的视频。它凭什么敢一直生成而不崩它凭什么能做成技术原理速览问题出在训练-测试鸿沟模型训练时看到的是干净视频推理时却要用自己刚生成的、带误差的片段当输入误差逐段累积画面迟早崩坏。SVI 的 Error Recycling 做三件事注入训练时把模型自己历史产生的误差故意加回输入模拟误差累积的真实轨迹计算用单步双向积分近似预测以残差作为误差存入误差库error bank回收训练时从误差库动态重采样让 DiT 学会主动识别并纠正自己的错误。推理时零额外开销且与文本、音频、骨骼等多种条件兼容。官方 FAQ 里还解释了为什么采用片段级因果 片段内双向注意力的设计——模拟导演来回审片再拼接的工作流更适合叙事类内容创作。图三种生成范式对比——SVI 通过误差注入与闭环回收在生成新内容的同时保持质量。理解了原理就能更进一步用参数把视频捏成你想要的样子。玩法升级参数与风格控制常用旋钮都在 test_svi.py 的参数里各给一个建议区间和原因视频长度--num_clips每段 clip 固定 81 帧想要更久就调大它。官方实测 20 分钟不漂移、不遗忘从 10 段左右起步比较稳妥。文本引导强度--cfg_scale_text默认 5.0。画面不服从提示词或有残影时提到 7动作僵硬时再往回调。运动帧数--num_motion_framesSVI-Shot 用 1取最后一帧SVI-Film 用 5 来保证跨镜头连贯。直接用模型对应的默认值与训练对齐别乱改。参考帧填充--ref_pad_num-1表示随机帧填充把续写变成图像修复任务单场景下永不漂移0是零填充放宽单场景限制适合多场景叙事。分辨率--max_width默认 832。输入图过大会被缩放到远偏离训练分辨率480×832导致动作缺失按终端日志 Video dimensions 校准。想要边生成边换剧情给 Film/2.0 模型喂一个每 5 秒换一句的提示词流文件即可官方 100 句海底提示词示例在 data/toy_test/svi_2.0/prompt.txt画面会跟着文字换景运镜由你在句子里直接描述。图100-prompt 流样例的起始图——同一海底世界里长提示词序列驱动 SVI 2.0 连续换景。ComfyUI 用户直接加载官方工作流 comfyui_workflow_svi_1.0/SVI-Shot-StreamingPrompt-1028.json。注意 SVI LoRA 不能套用原版 Wan 2.1 工作流必须用修改过 padding 设置的官方版本且每个 clip 换不同随机种子。参数就位下面把 Talk 和 Dance 两个模块用起来完成两个真实任务。高频实战两个典型场景场景一长对话视频SVI-Talk目标一张人物照 一段音频得到口型连贯、久不漂移的说话视频。做法 第1步按 README「Model Preparation」下载 chinese-wav2vec2 音频编码器与svi-talk.safetensors。 第2步素材若是视频先用 scripts/data_preprocess/prepare_video_audio.py 提取并预处理音频。 第3步运行官方示例人物图data/toy_test/talk/obama.png 5 分钟音频bash scripts/test/svi_talk.sh效果官方 10 分钟说话视频无漂移口型指标与专用工具持平且画面细节一致性更好。图三种对话视频方案对比——SVI-Talk 在长时生成下的清晰度与连贯性最佳。场景二舞蹈动作视频SVI-Dance目标让一个角色跟着参考舞蹈的骨骼轨迹跳完一段长循环舞。做法 第1步准备人物图片与舞蹈视频官方示例在data/toy_test/dance/image.png pose.mp4。 第2步自己的舞蹈视频先用 scripts/data_preprocess/prepare_video_pose.py 提取 DWPose 骨骼序列。 第3步运行推理bash scripts/test/svi_dance.sh效果人物沿骨骼轨迹完成长时舞蹈肢体不缺失、动作不漂移。顺带一提SVI-Tom 还能只用一张卡通角色图生成 8 分钟卡通长片工作流与 Film 版共享。图SVI-Tom 生成的卡通长视频画面——角色动作与场景细节在长时续写中保持稳定。配置再对也可能撞上色偏、慢动作、鬼影。下面这份清单帮你快速定位。调优清单与避坑指南常见问题颜色漂移、画质下滑VAE 反复编解码会累积误差静态背景尤其明显若测试风格远离训练分布用少量同域视频微调 LoRA 最有效LoRA 会连带学会该域风格数小时即可。画面几乎不动输入图过大被缩放偏离训练分辨率。调整--max_width对照终端日志校准。提示词不生效、有残影--cfg_scale_text从 5.0 提到 7 再观察。闪烁、明显退化多半是工作流用错或同一个 clip 复用随机种子。改用官方工作流并确认每段 clip 使用不同 seed——相同噪声跨 clip 会累积伪影这条非常重要。性能优化显存不够调低--num_persistent_param_in_dit减少常驻显存的参数量或启用--tiled分块编码。速度优先保持在 480p 训练分辨率附近推理适当减少--num_steps若叠加量化/蒸馏 LoRA建议保留更多采样步数保质量。提示词写法训练数据的 prompt 偏 GPT 风格长句直接给一段 LLM 生成的长描述更容易出片。细节问题与参数含义查 docs/FAQ.md 与 docs/DevLog.md。一句话总结Stable Video Infinity 把长视频从抽奖变成了可控制的手艺——误差会自己回收风格由你的 LoRA 和 prompt 决定。下一步可以去用 train_svi.py 配 scripts/train/ 训练自己的领域 LoRA样本量需求很小试多场景叙事svi-film-opt-10212025权重 提示词流产出短片式内容走 comfyui_workflow_svi_1.0/ 里的官方工作流在 ComfyUI 中组装自己的节点链路。现在就动手克隆仓库跑一次scripts/test/svi_shot.sh今天就能拥有你的第一段永不崩坏的视频。【免费下载链接】Stable-Video-Infinity[ICLR 26 Oral] Stable Video Infinity: Infinite-Length Video Generation with Error Recycling项目地址: https://gitcode.com/GitHub_Trending/st/Stable-Video-Infinity创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑