资讯动态

如何微调 LTX-2.5:用 LTX-2 Trainer 训练专属 LoRA 与 IC-LoRA 的完整教程

发布时间:2026/10/18 2:31:26 来源:尧图企业网站定制
【免费下载链接】LTX-2.5项目地址https://ai.gitcode.com/hf_mirrors/comfyicu/LTX-2.5点击查看免费下载LTX-2.5是 Lightricks 开源的开放权重视频与音频生成模型可在本地从文本、图片、视频输入生成高保真、带同步音频的内容并官方支持微调。本教程面向新手手把手教你用官方的LTX-2 Trainer在 LTX-2.5 上训练专属的LoRA与IC-LoRA让模型学会你想要的风格、角色或特定画面。一、微调能做什么LoRA 与 IC-LoRA 的区别 微调fine-tuning不改变模型本体而是训练一个轻量的小文件加载后可随时开关适配器类型作用典型场景LoRA让模型学会新的概念特定风格、特定角色、特定场景固定画风、虚拟角色、品牌视觉IC-LoRAImage-Conditioned LoRA以一张参考图为条件锁定输出图生视频时保持角色/物体一致性官方确认dev 版 transformer 完全可训练可直接用 LTX-2 Trainer 复现官方发布的 LoRA 与 IC-LoRA。仓库里还附带了一个官方蒸馏 LoRA 示例ltx-2.5-22b-distilled-lora-450-bf16.safetensors可作为效果参照。 好消息官方测试表明在 LTX-2.3 上训练的大多数 LoRA / IC-LoRA 可原样用于 LTX-2.5少数例外上线前请自行验证见 README.md。二、训练前准备确认权重文件清单 ✅LTX-2.5 采用按组件拆分的 Comfy 对齐打包方式训练时各组件需要分别指向对应文件。本仓库包含全部所需权重组件文件用途可训练基座 DiTdiffusion_models/ltx-2.5-22b-dev-transformer-bf16.safetensors训练必须使用 dev 版文本编码器text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensorsGemma 4 12B 文本编码器视频 VAEvae/ltx-2.5-video-vae-bf16.safetensors视频解码DiffVAE质量优先音频 VAEvae/ltx-2.5-audio-vae-bf16.safetensors音频解码 声码器快速视频 VAEvae/ltx-2.5-video-vae-conv-bf16.safetensors速度优先的备选 VAE注意*-comfy-int8-convrot.safetensors与*-nvfp4.safetensors是推理优化版本训练请使用 bf16 的 dev 权重。如果本地还没有这些文件可从镜像仓库克隆git clone https://gitcode.com/hf_mirrors/comfyicu/LTX-2.5 ltx-2.5-weights三、环境准备安装 LTX-2 Trainer ️训练工具是 LTX-2 开源项目中的ltx-trainer子目录Trainer 与权重分属两个项目本文只引用其名称不贴外部链接请在 LTX-2 项目主页自行获取。官方推荐环境Python ≥ 3.12、CUDA ≥ 12.7、PyTorch ≈ 2.7使用uv管理依赖克隆 LTX-2 项目后执行uv sync创建虚拟环境即可硬件建议LTX-2.5 基座为 22B 参数训练 LoRA 也建议单卡 24GB 显存起步显存不足时可用低精度权重 CPU offload 缓解多卡会更从容。四、准备训练数据视频 文字描述 LoRA 训练的数据准备非常简单只需要两样东西短视频每个几秒即可数量建议几十到几百段画面聚焦于你要学的概念同一角色/风格字幕文件caption与每段视频一一对应的文字描述存放在captions目录命名与视频文件对应 小技巧caption 中为专属概念加入触发词如a robot courier named Blue-9推理时用该词即可精准唤起你训练的概念。五、训练你的第一个 LoRA配置与运行 在 Trainer 目录下编写一份 YAML 训练配置示例参数以 LTX-2 Trainer 官方 README 为准model: training_mode: lora # 训练 LoRAIC-LoRA 按官方说明启用图像条件 model_path: ../ltx-2.5-weights/diffusion_models/ltx-2.5-22b-dev-transformer-bf16.safetensors text_encoder_path: ../ltx-2.5-weights/text_encoders/gemma4-12b-with-proj-ltx-2.5-bf16.safetensors vae_path: ../ltx-2.5-weights/vae/ltx-2.5-video-vae-bf16.safetensors data: video_dir: data/videos caption_dir: data/captions lora: rank: 32 alpha: 16 training: num_epochs: 10 learning_rate: 1.0e-4 batch_size: 1配置要点training_mode: lora只训练低秩适配器参数量小、速度快rank/alpha决定 LoRA 容量新手可从 32/16 起步风格类概念可用更小 ranknum_epochs小数据集建议 5~15 轮过多容易过拟合画面出现重复纹样、细节固化然后启动训练uv run python -m ltx_trainer --config lora_config.yaml训练过程中会周期性输出 loss结束时在输出目录生成.safetensors格式的 LoRA 文件——这就是你的专属适配器。六、验证与使用训练成果 训练完成不等于成功建议按下面三步验证ComfyUI 加载官方 LTX-2.5 工作流自带模板把生成的 LoRA 拖入 LoRA 加载节点即可对比测试同一 prompt分别加载/不加载你的 LoRA 各生成一条确认新概念是否被准确唤起、未训练部分是否未受污染多 seed 抽检换 2~3 个不同随机种子再跑一遍排除偶然命中⚠️ 官方提醒LTX-2.3 训练的 LoRA 在 LTX-2.5 上大多可直接运行但正式使用production前务必验证适配器README.md。七、常见问题 FAQ ❓Q1可以直接微调 distilled蒸馏版吗官方明确dev 版 transformer 为完全可训练版本。蒸馏版主要追求 8 步快速推理仓库中的 ltx-2.5-22b-distilled-lora-450-bf16.safetensors 展示了蒸馏 LoRA 在 dev 工作流中的用法训练请从 dev 权重入手。Q2显存不够怎么办优先使用 bf16 权重配合低精度策略并开启 CPU offload同时降低分辨率、缩短视频帧数、减小 batch size。帧数需满足num_frames % 8 1宽高需被 32 整除见 README.md。Q3微调成果能分发吗LTX-2.x 社区许可证下年营收 1000 万美元以下的主体可免费商用但微调成果fine-tunes的转移/分发可能需要付费许可商用前请阅读许可证原文README.md。Q4训练完想继续提升效果先检查数据质量一致性、画质、caption 准确性再考虑增大rank或延长训练同时注意官方提示该模型可能放大既有偏见不适合提供事实性信息请自行审核生成内容README.md。小结 步骤关键动作1️⃣ 备齐权重使用 dev transformer Gemma 4 文本编码器 视频/音频 VAE2️⃣ 搭环境Python 3.12 / CUDA 12.7安装 LTX-2 的 ltx-trainer3️⃣ 备数据短视频 一一对应的 caption加入触发词4️⃣ 跑训练一份 YAML 配置ltx_trainer一键启动5️⃣ 验效果ComfyUI 加载对比多 seed 抽检后再上线跟着这份教程你只需要准备一小批视频素材就能让 LTX-2.5 长出只属于你的风格与角色。赞分享【免费下载链接】LTX-2.5项目地址https://ai.gitcode.com/hf_mirrors/comfyicu/LTX-2.5点击查看免费下载相关推荐给 LTX-2.5 喂 LoRA从 IC-LoRA 到自定义风格本地微调的第一课给 LTX 2.5 喂 LoRA从 IC LoRA 到自定义风格本地微调的第一课 LTX 2.5 发布以来6.8 秒生成 10 秒视频的推理速度、16大模型媒体生成视频音频多模态MAS 激活 Windows 与 Office 完整指南不用产品密钥一次搞定MAS 激活 Windows 与 Office 完整指南不用产品密钥一次搞定 Windows 右下角一直显示未激活Office 又提示激活即将到期M运维Sunshine 游戏串流完整实操在家搭一条低延迟的私人串流通道Sunshine 游戏串流完整实操在家搭一条低延迟的私人串流通道 Sunshine 是一个开源、自托管的游戏串流服务器配合 Moonlight 客户端使用音视频后端上一篇技能 {skills}下一篇探索创新的数字刺绣艺术PEmbroider创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价 →
↑