【免费下载链接】SoulX-FlashHeadSoulX-FlashHead: A unified 1.3B-parameter framework designed for high-fidelity, infinite-length, and real-time streaming portrait video generation.项目地址https://gitcode.com/gh_mirrors/so/SoulX-FlashHead点击查看免费下载SoulX-FlashHead 是一个开源的 1.3B 参数统一框架用于高保真、无限长、实时流式人像视频生成talking head。它的高速推理能力背后是一个巧妙的“双 VAE”设计Pro 模型使用 WanVAE 追求画质Lite 模型换用压缩更强的 LTX-Video VAE在单张 RTX 4090 上即可跑出 96 FPS 的实时流式输出。本文从推理瓶颈的视角讲清这套设计的原理。⚡ 先搞懂SoulX-FlashHead 如何生成“无限长”说话头视频SoulX-FlashHead 采用分块生成 运动帧继承的策略每次生成 33 帧见 infer_params.yaml 中的frame_num: 33复用上一块的**运动帧motion frames**潜特征作为新一块的起始条件生成后再把本块尾帧重新编码成下一块的运动帧滚动产出无限长的视频。关键逻辑在 generate() of generate_video.pyPro 模型每块产出 28 帧新画面33 − 5 运动帧Lite 模型每块产出 24 帧新画面33 − 9 运动帧这个运动帧数量的差异正是来自两套 VAE 不同的时间压缩率——双 VAE 设计的伏笔就此出现motion_frames_num (motion_frames_latent_num − 1) × vae_stride[0] 1推导过程见 get_pipeline in inference.py。WanVAE 时间压缩 4 倍 → 5 个运动帧LTX-Video VAE 时间压缩 8 倍 → 9 个运动帧。 两个 VAE 对比一览WanVAE vs LTX-Video VAE在 FlashHeadPipeline 初始化中VAE 的选型逻辑非常简单model_type lite→ 加载VAE_LTX目录使用 LtxVAE其他pro / pretrained→ 加载VAE_Wan/Wan2.1_VAE.pth使用 WanVAE两个 VAE 的压缩特性以 512×512 分辨率、33 帧输入为例特性WanVAEProLTX-Video VAELite来源Wan2.1 视频 VAELTX-Video 因果视频自编码器潜空间通道数16128时间压缩4 倍33 帧 → 9 潜帧8 倍33 帧 → 5 潜帧空间压缩8 倍512 → 6432 倍512 → 16潜空间形状(16, 9, 64, 64)(128, 5, 16, 16)多卡并行 VAE 解码USP✅ 支持❌ 仅单卡潜空间形状在源码注释中直接标注可对照 ltx_vae.py 的 encode/decode 与 prepare_params 中的注释。LTX-Video VAE 的加载与配置映射见 causal_video_autoencoder.py。 Lite 模型为什么能快近 10 倍潜空间“尺寸”是关键VAE 把视频压缩到潜空间后1.3B 的 DiT 模型WanModelAudioProject就在潜空间里做扩散去噪计算量随 token 数急剧增长WanVAE每块潜空间 9 × 64 × 64 ≈36864 个 tokenLTX-Video VAE每块潜空间 5 × 16 × 16 1280 个 tokenLite 模型的 token 数只有 Pro 的约 1/29这就是它在单张 RTX 4090 上能跑出 96 FPS或 3 路并发 25 FPS 实时流的根本原因而 Pro 模型单卡只能跑 10.8 FPS双 RTX 5090 才能实时。代价也很直白LTX-Video VAE 用 128 通道、32 倍空间压缩来装下信息模型权重必须针对它重新训练/蒸馏所以仓库提供了Model_Pro与Model_Lite两套权重分别匹配两种 VAE。额外的提速手段flash_head_pipeline.py 顶部 还内置了三个开关COMPILE_MODEL Truetorch.compile编译 DiT 主干COMPILE_VAE True同样编译 VAE 的 encode / decodeUSE_PARALLEL_VAE TrueVAE 解码多卡并行WanVAE 的 decode_dist / decode_stream 实现仅支持 WanVAE再叠加4 步采样蒸馏权重只走[1000, 750, 500, 250]四个 timesteppretrained 权重则需 20 步见 prepare_params实时流式的速度公式可以总结为实时流式 更少 tokenLTX-Video VAE 更少去噪步数4 步蒸馏 编译 / 并行加速 上手运行两条命令跑起实时说话头安装环境与下载权重参考 README.md 的 Quickstart后直接运行现成脚本# Lite 模型单 GPU实时流式 bash inference_script_single_gpu_lite.sh # Pro 模型单 GPU更高画质 bash inference_script_single_gpu_pro.sh # Pro 模型多 GPU bash inference_script_multi_gpu_pro.sh两个单卡脚本只差一个参数--model_type lite或--model_type proinference_script_single_gpu_lite.sh。默认输入是示例人像图与四川话音频也可以换成自己的图片想用网页界面演示也可以启动 Gradiopython gradio_app.py # 普通模式 python gradio_app_streaming.py # 流式模式仅单卡 关键文件速查文件作用flash_head/src/pipeline/flash_head_pipeline.py推理流水线VAE 选型、4 步去噪、运动帧继承flash_head/wan/modules/vae.pyWanVAE 实现含并行解码与流式解码flash_head/ltx_video/ltx_vae.pyLtxVAE 封装与潜空间归一化flash_head/ltx_video/models/autoencoders/causal_video_autoencoder.pyCausalVideoAutoencoder 的加载与配置flash_head/configs/infer_params.yaml推理超参frame_num、tgt_fps、color_correction_strength 等assets/SoulX_FlashHead.pdf技术报告Technical Report 小结双 VAE 是“双引擎”策略WanVAE 走保真ProLTX-Video VAE 走速度Lite快的本质是少算 token潜空间从 64×64 缩到 16×16每块计算量直降近 30 倍无限长生成靠运动帧滚动每块尾帧重新编码作为下一块的条件输入新手选型建议单卡要实时 →lite追求最高画质 →pro赞分享【免费下载链接】SoulX-FlashHeadSoulX-FlashHead: A unified 1.3B-parameter framework designed for high-fidelity, infinite-length, and real-time streaming portrait video generation.项目地址https://gitcode.com/gh_mirrors/so/SoulX-FlashHead点击查看免费下载相关推荐Qwen-Image-2.1原生透明背后的原理64通道RGBA VAE与16倍空间压缩的秘密Qwen Image 2.1原生透明背后的原理64通道RGBA VAE与16倍空间压缩的秘密 Qwen Image 2.1 是 Qwen 家族中最强大的开源图人工智能大模型基础模型媒体生成多模态提示工程本地部署OpenAvatarChat FlashHead 数字人 Handler 实战指南SoulX-FlashHead Lite 模式配置与流式说话头生成原理OpenAvatarChat FlashHead 数字人 Handler 实战指南SoulX FlashHead Lite 模式配置与流式说话头生成原理 本篇数字人AI 应用语音多模态音视频后端企业级分布式电商平台架构解析与高可用实践方案企业级分布式电商平台架构解析与高可用实践方案 GPMall是基于SpringBootDubbo构建的企业级分布式电商平台解决方案采用微服务架构设计集成了高后端电商微服务前端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考