ComfyUI 社区最近讨论度最高的两个方向一个是视频转绘一个是人物一致性。以往图生视频最大的痛点是第一帧看着还可以越往后面越“放飞”人脸开始漂移、服装细节变形、背景反复跳动。要解决这类问题单靠换提示词没用得从工作流层面做约束。这次看的组合思路是 z-image 做图像侧的预处理与关键帧一致性保持wan2.2 负责图生视频生成和视频转绘。两者在 ComfyUI 里串成一条工作流后视频转绘、人物一致性、镜头一致性可以放在同一套流程里解决。本文不打算只讲“概念很强”而是把这条工作流拆开从环境准备、模型摆放、节点安装、出片验证到常见报错按本地部署的完整流程走一遍。如果你已经玩过 ComfyUI 文生图但没碰过视频生成或者你正在用 Wan 系列生成视频但结果不稳定这篇可以直接收藏按步骤操作。1. 核心能力速览先把这条工作流的关键信息整理出来方便快速判断适不适合自己。能力项说明项目类型ComfyUI 图生视频 / 视频转绘工作流核心组件z-image图像一致性处理 wan2.2图生视频模型主要功能图生视频、视频转绘、人物一致性、镜头一致性运行平台Windows / Linux需本地部署 ComfyUI推荐启动方式ComfyUI 整合包一键启动或命令行启动是否支持 CPU 推理理论可行但视频生成任务强烈建议使用 NVIDIA 显卡显存需求以实际模型版本和视频分辨率为准建议优先测试小分辨率是否支持 API支持ComfyUI 自带 WebSocket HTTP 接口是否支持批量任务支持可通过脚本逐条提交 prompt 实现队列化适合场景短视频画面转绘、角色一致性视频、镜头风格统一、图生视频测试从材料看这条工作流的核心思路非常清楚先用 z-image 统一输入图像的质量和特征再让 wan2.2 基于处理后的关键帧生成视频。这样视频生成不是直接“裸跑”而是有一个图像侧约束层从源头减少帧间漂移。有一个判断需要说明z-image 的具体节点功能和版本细节在不同发布版本里会有差异。实际部署时以你安装的节点仓库 README 为准不要照抄网上过时的参数。后面我会给出一套通用接入方法适合大多数 ComfyUI 自定义节点。2. 适用场景与使用边界2.1 适合什么人用短视频创作者需要把实拍素材或素材片段转成统一画风用视频转绘快速出效果。角色一致性实验者需要在多段视频里保持同一个主角的脸、服装、发型避免每换一个镜头人物就变样。ComfyUI 进阶玩家已经掌握文生图和图生图想往图生视频方向扩展。本地部署安全敏感用户素材不方便传到在线平台需要全部在本地完成处理。2.2 不适合什么场景超长视频快速生成本地显卡跑长视频耗时和显存开销会非常夸张不如先用在线 API 验证效果。零基础新手的第一条工作流视频生成涉及模型下载、节点安装、显存优化建议先跑通基础文生图工作流再上手。需要实时互动的场景当前是离线推理流程不是实时视频生成。2.3 使用边界与合规提醒涉及视频转绘、真人视频处理和人物一致性时有几个红线必须明确使用真人肖像必须获得本人授权。生成或转绘他人的脸可能涉及肖像权和隐私问题。使用影视片段、动画片段、他人创作的素材做转绘需要确认是否有版权授权。本地技术验证可以用自己的测试素材。不要用视频转绘生成虚假信息、误导性内容或用于任何侵权场景。训练自定义模型时如果用到了第三方数据需要确认数据来源和许可协议。技术本身是中性工具但使用边界必须自己控制。涉及商业发布前建议做一次内容合规复核。3. 环境准备与前置条件3.1 硬件与系统要求操作系统Windows 10/11 或 Ubuntu 20.04需要支持 NVIDIA 显卡驱动。显卡NVIDIA 显卡优先。显存建议不低于 8GB低于 6GB 只能测试极低分辨率片段。驱动更新到较新的 NVIDIA 驱动建议在 NVIDIA 官网确认驱动版本对应 CUDA 能力。磁盘空间ComfyUI 本体约几个 GB模型文件则需要预留充足空间。wan2.2 这类视频模型体积较大建议至少预留 50GB 可用空间具体以模型文件大小为准。端口ComfyUI 默认端口是 8188启动前确认该端口没有被占用。3.2 软件依赖PythonComfyUI 整合包通常自带不需要单独安装。如果用源码启动需要 Python 3.10 及以上。PyTorch CUDA确保 PyTorch 版本与显卡驱动匹配安装错误是视频推理失败的主要原因之一。Git用来克隆自定义节点仓库。Windows 用户建议安装 Git for Windows。ComfyUI Manager管理自定义节点的推荐工具安装缺失节点时会用到。3.3 需要准备的模型文件这条工作流需要两类模型放到 ComfyUI 对应目录下模型类型放置目录说明wan2.2 视频生成模型ComfyUI/models/checkpoints或ComfyUI/models/diffusion_models不同版本放置目录不同按节点要求放z-image 相关模型ComfyUI/models/z-image或节点指定的目录以节点仓库 README 说明为准可选文本编码器等辅助模型ComfyUI/models/text_encoders如果工作流需要模型文件的下载地址和放置路径一定要看具体模型发布页的说明。不同版本、不同精度的模型文件放置目录和加载方式都不一样不要凭经验乱放。4. 安装部署与启动方式4.1 使用整合包安装 ComfyUI中文社区最常用的方式是秋叶 ComfyUI 一键整合包。整合包的优势是 Python 环境、PyTorch 版本和常用依赖都已经处理好了不需要自己折腾环境变量。安装步骤解压整合包到本地目录路径中不要包含中文和空格。双击启动脚本等待依赖初始化完成。浏览器打开http://127.0.0.1:8188确认 ComfyUI 界面正常显示。打开 ComfyUI Manager检查节点版本。4.2 使用源码启动如果你不想用整合包也可以用源码方式部署git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI python -m venv venv # Windows 激活虚拟环境 venv\Scripts\activate # Linux 激活虚拟环境 # source venv/bin/activate pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install -r requirements.txt启动服务python main.py --listen 127.0.0.1 --port 8188启动后看到类似Starting server的日志说明服务正常。4.3 安装 z-image 自定义节点在 ComfyUI 的custom_nodes目录下克隆 z-image 节点仓库cd ComfyUI/custom_nodes git clone 你的z-image节点仓库地址 cd 节点目录名 pip install -r requirements.txt这里有一点需要提醒z-image 的仓库地址以项目发布页为准不要直接复制网上的未知地址。克隆完成后重启 ComfyUI。如果使用 ComfyUI Manager也可以在 Manager 的“自定义节点”搜索栏里找到 z-image 相关节点一键安装。4.4 安装 wan2.2 所需节点Wan 系列模型在 ComfyUI 里通常需要额外的支持节点。最稳妥的方式是让 ComfyUI 加载工作流时自动提示缺失节点然后一键安装。加载工作流后如果看到红色报错节点通常说明缺少依赖请安装缺失的包以使用此工作流。要安装缺失的节点请先在你的 python 环境中运行 …这种情况的处理办法是打开 ComfyUI Manager → “Install Missing Custom Nodes”。一键安装缺失节点。重启 ComfyUI重新加载工作流。如果仍然报错检查对应节点目录里的requirements.txt是否安装完整。4.5 确认模型加载成功工作流加载后检查模型中是否有 wan2.2 模型和 z-image 相关模型。打开 ComfyUI 的“Load Checkpoint”或“Load Diffusion Model”节点查看模型下拉列表。如果没有对应模型说明模型文件没有放到正确目录。5. 工作流搭建z-image wan2.2 串联方法5.1 整体思路这条工作流的节点连接顺序可以概括为输入图像 → z-image 图像一致性处理 → wan2.2 图生视频 → 解码 → 视频输出z-image 处理环节解决“输入图像质量与特征统一”wan2.2 生成环节解决“视频运动与时空一致性”。两者配合比直接拿一张原图丢给视频模型要稳定得多。5.2 节点连接步骤第一步加载输入图像使用Load Image节点加载图片。这里建议输入图片分辨率不要过高先按照模型支持的分辨率处理。人物画面建议使用正脸或半身带完整特征的画面避免多个角色同时入镜。测试阶段不要用包含大量细节的复杂场景先把人物主体跑稳定。第二步z-image 图像一致性处理在节点图中加入 z-image 相关节点。它的作用是统一输入图像的风格和色调。对主体特征做标记或编码供后续视频生成节点使用。输出处理后的参考帧和特征向量。z-image 节点通常需要配置输入图像。处理强度或风格参数。输出图像的尺寸和编码格式。具体参数名以安装的节点版本为准。测试时先保持默认参数跑通后再调优。第三步连接 wan2.2 图生视频模型加入 wan2.2 的视频生成节点将 z-image 输出的参考帧作为输入连接过去。wan2.2 图生视频一般需要配置提示词中文或英文按模型要求。视频帧数。分辨率。运动强度或镜头控制参数。采样步数和 CFG 值。这里建议第一次测试用短片段帧数不要拉太长先测试 49 帧以内。分辨率按模型支持的宽高避免非标准尺寸导致变形。步数先按默认步数跑通后再调整。第四步视频解码与输出wan2.2 输出的 latent 需要经过 VAE 解码再通过Save Video节点导出为视频文件。输出格式建议先选 mp4方便直接检查效果。一个简化的工作流示意Load Image ↓ z-image 节点一致性处理 ↓ wan2.2 图生视频节点 ↓ VAE Decode ↓ Save Video5.3 提示词编写建议图生视频的提示词和文生图不完全一样重点是描述运动、镜头和变化而不是堆砌画面细节。示例提示词人物面对镜头缓慢转身表情自然背景灯光稳定镜头平滑推进电影质感细节清晰生成后检查主体是否保持稳定。人物面部是否随运动发生变化但特征不漂移。背景是否闪烁。运动幅度是否自然。如果运动幅度过大导致崩坏降低运动强度参数如果画面太“死板”适当提高运动强度。6. 功能测试与效果验证6.1 测试用例设计建议按下面的顺序逐步验证不要一上来就跑长视频。测试项输入验证点预期结果基础图生视频单张人物图片是否能正常出片生成短片段人物动作自然人物一致性同一人物的多张图片多段视频中人物特征是否一致脸型、发型、服装保持一致视频转绘一段实拍视频抽帧画面风格是否统一转换视频整体风格一致主体不跳变镜头一致性不同景别切换多镜头间主体特征是否统一镜头切换后人物依然稳定批量任务多张输入图稳定跑完队列每个任务都有输出6.2 人物一致性测试这是最核心的测试环节。具体操作准备 3 张同一人物的图片分别是正面、侧面、半身。用 z-image 节点对 3 张图分别处理。分别生成 3 段短视频。对比 3 段视频中的人物特征。判断标准人物脸型、五官比例是否保持一致。头发颜色和造型是否稳定。服装颜色和款式是否统一。不同角度切换时是否还能认出是同一个人。如果出现明显漂移优先调整 z-image 节点的处理强度而不是反复修改提示词。6.3 视频转绘测试视频转绘的本质是保留原视频的运动结构替换或统一画面风格。操作步骤准备一段短视频素材建议 5 秒以内。对视频抽帧选取代表性画面作为关键帧。将关键帧输入 z-image 节点做风格统一处理。使用 wan2.2 进行图生视频把处理后的帧作为输入。对比输出视频与原始视频的运动结构和风格变化。判断标准运动轨迹是否保留。画面风格是否统一。是否出现闪烁、抖动、内容漂移。6.4 多镜头一致性测试多镜头一致性是“电影级工作流”的关键卖点。测试方法准备同一个场景或同一个人物的多个机位图片。分别用 z-image 处理并标记主体特征。用同一套工作流生成多段视频。把多段视频剪辑在一起观察切换时主体是否跳变。如果多段视频拼接后观感接近同一部片子的不同机位说明一致性工作流生效。6.5 失败时优先检查什么生成失败时不要盲目调参按顺序排查显卡驱动和 PyTorch 版本是否匹配。模型文件是否完整、放置路径是否正确。z-image 节点是否安装成功。输出分辨率是否符合模型要求。显存是否足够日志里是否有 CUDA out of memory。7. 接口 API 与批量任务7.1 ComfyUI API 基础ComfyUI 启动后不只是有 Web 界面还会开启一个 HTTP 接口。可以通过这个接口提交工作流、查询任务状态。端口默认是8188。接口地址http://127.0.0.1:8188/prompt7.2 导出工作流 JSON在 ComfyUI 界面中把工作流通过“导出”功能保存为 API 格式 JSON。注意ComfyUI 的“导出”菜单里通常有两个选项一个用于界面显示一个用于 API 调用。提交接口时要用 API 格式的 JSON。7.3 Python 调用示例import requests import json api_url http://127.0.0.1:8188/prompt # 这里替换成从 ComfyUI 导出的 API 格式工作流 JSON with open(workflow_api.json, r, encodingutf-8) as f: workflow json.load(f) payload { prompt: workflow, client_id: csdn_test } response requests.post(api_url, jsonpayload, timeout300) print(response.status_code) print(response.json())如果返回结果包含prompt_id说明任务提交成功。之后可以通过 WebSocket 或查询接口获取任务状态。7.4 批量任务设计批量处理的核心思路循环更新工作流中的图片路径或提示词参数逐条提交然后检查结果。import requests import json import time api_url http://127.0.0.1:8188/prompt # 假设输入图片列表 input_images [ C:/test/char_01.png, C:/test/char_02.png, C:/test/char_03.png ] # 加载基础工作流 with open(workflow_api.json, r, encodingutf-8) as f: base_workflow json.load(f) # 假设加载图片节点 ID 是 10替换其中的图片路径 image_node_id 10 for idx, img_path in enumerate(input_images): # 深拷贝一份工作流避免污染基础模板 workflow json.loads(json.dumps(base_workflow)) workflow[image_node_id][inputs][image] img_path payload { prompt: workflow, client_id: csdn_batch } try: resp requests.post(api_url, jsonpayload, timeout300) data resp.json() if prompt_id in data: print(f任务 {idx 1} 提交成功: {data[prompt_id]}) else: print(f任务 {idx 1} 提交失败: {data}) except Exception as e: print(f任务 {idx 1} 请求异常: {e}) # 避免提交过快导致排队内存过高 time.sleep(1)批量任务的注意事项每轮循环都要深拷贝工作流模板否则会改动公共对象。不要在请求里把整个视频文件传过去ComfyUI 读取的是服务器本地路径。大批量任务建议控制并发数显存不够时任务排队反而更稳定。每个任务提交后建议记录prompt_id方便排查失败任务。7.5 WebSocket 查看进度ComfyUI 通过 WebSocket 广播任务进度。如果需要写一个进度监控脚本可以监听/ws接口消息类型包括executing、progress、executed等。生产环境的批量任务建议至少记录日志和 prompt_id 映射。8. 资源占用与性能观察8.1 显存占用观察方法视频生成比图像生成吃显存得多。观察显存的方式Windows 任务管理器 → 性能 → GPU 显存。NVIDIA 命令行工具nvidia-smi -l 1每 1 秒刷新一次 GPU 状态可以实时看到显存占用和 GPU 利用率。8.2 哪些参数影响显存参数影响方式视频帧数帧数越高显存占用越大分辨率分辨率是显存消耗的最大头批量大小批量任务并发数直接影响显存峰值采样步数步数影响计算时间对显存影响小于分辨率模型精度低精度模型如量化版本能显著降低显存占用8.3 降低显存占用的手段先跑低分辨率确认效果后再放大。缩短视频帧数分段生成后拼接。使用 GPU 调度优化参数比如开启--lowvram模式。优先使用量化版模型。关闭其他占用显存的应用和浏览器后台页面。8.4 CPU 与 GPU 推理差异CPU 推理理论上可以运行但视频生成的计算量巨大CPU 推理时间会非常不可观。不要指望纯 CPU 跑视频转绘流程。如果机器没有 NVIDIA 显卡更合理的选择是先用云端 GPU 实例或在线 API 测试效果确认工作流可行后再决定是否采购本地显卡。8.5 显存不足的直接表现如果日志里出现类似CUDA out of memory或RuntimeError: CUDA error: out of memory说明显存已经不够用。对策降低分辨率。减少帧数。切换低精度模型。清空 ComfyUI 队列中积压的任务。9. 常见问题与排查方法问题现象可能原因排查方式解决方案启动后页面打不开端口被占用或服务未启动查看终端日志检查端口更换端口--port 8189或关闭占用进程加载工作流提示缺失节点自定义节点没有安装ComfyUI Manager 查看缺失节点一键安装缺失节点重启缺失包安装报错Python 依赖冲突查看报错栈中的包名手动pip install 包名或升级 pip模型下拉列表没有 wan2.2模型文件放置错误检查目录和文件格式按模型发布页说明移动到正确目录生成时显存不足分辨率/帧数过高查看 GPU 日志降低分辨率、减少帧数、切换低精度模型视频画面闪烁VAE 或解码参数异常对比不同 VAE 结果更换 VAE或检查 Latent 输出参数人物特征漂移z-image 处理强度不足检查特征一致性提高一致性处理参数或在提示词中增加主体特征描述批量任务若干失败单条图片路径或参数错误查看返回的异常信息记录失败任务的 prompt_id单独排查提交 API 返回 400工作流 JSON 格式不对检查 API 格式导出方式使用 API 格式导出不要用界面格式视频生成速度极慢步数过高或 CPU 推理查看 GPU 利用率降低步数确认使用的是 GPU 推理CUDA 版本不匹配PyTorch 和驱动不匹配运行python -c import torch; print(torch.cuda.is_available())重新安装匹配版本的 PyTorch10. 最佳实践与使用建议10.1 工程化建议第一次测试先用最小参数跑通。最低分辨率、最短帧数、默认步数先确认全链路没有问题再逐项增加。保留一套“最小可运行工作流”。这个工作流只包含最基础节点作为排障基准。后续加节点出现问题时可以回到基准流程测试。模型文件、输入素材、输出结果分目录管理。建议结构ComfyUI/ ├── models/ │ ├── checkpoints/ │ ├── z-image/ │ └── text_encoders/ ├── input/ │ └── test_frames/ ├── output/ │ └── video_results/ └── custom_nodes/ └── ComfyUI-z-image/批量任务必须加日志。记录每个任务的输入、prompt_id、时间、输出路径、失败原因。接口服务只在本机监听。用--listen 127.0.0.1限制访问范围不要直接暴露到公网。如果确实需要远程访问加上认证层。显卡驱动不要盲目更新到最新。先确认当前 PyTorch 版本对应的 CUDA 版本再决定是否升级驱动。10.2 效果调优建议人物一致性优先靠 z-image 环节解决不要只堆提示词。视频转绘时原视频画质不要太差。低画质素材会让输出结果更不稳定。生成短视频时镜头运动幅度要克制。大幅度的运镜会放大模型的不稳定性。帧数可以分两段生成然后在剪辑软件里拼接但要注意拼接处的视觉衔接。输出文件建议统一命名规则比如项目名_镜头号_序列号.mp4方便批量管理。10.3 合规建议处理真人肖像必须有授权。处理影视剧片段关注素材版权。发布或商用前重新检查素材的来源和授权链。如果使用第三方工作流先检查节点代码和依赖来源避免不可信插件带来的安全风险。11. 总结与下一步这条 ComfyUI 工作流最值得尝试的点是把图像侧的一致性处理和视频生成结合成一套流程。z-image 解决输入图像的特征统一wan2.2 解决视频生成的时序稳定性两者在本地 ComfyUI 里可以完全离线跑。相比之前“直接拿一张图丢给视频模型”的老思路这套组合在人物一致性和视频转绘场景下能明显减少主体漂移和画面崩坏。最先应该验证的不是复杂参数而是一张人物正面图的短片段生成。确认 z-image → wan2.2 → VAE 解码 → 视频输出这条链路能跑通再考虑多镜头、多段视频和批量任务。最容易踩的坑有三个一是模型文件放错目录导致下拉列表找不到 wan2.2二是自定义节点缺少依赖加载工作流直接报红三是一上来就跑高分辨率长视频显存直接爆掉。这三个问题都可以在正式生成前排查完。后续可以继续扩展的方向很明确把这条工作流接入批量任务脚本形成一条从图片素材到成片的本地管线接入 ComfyUI API 后可以做成一个内部的视频生成服务让团队的其他人通过网页或脚本调用而不是每次手动在界面里操作。这套流程跑通之后图生视频不再是一个随缘生成的黑盒而是一条可控、可复现、可批量化的生产链路。建议收藏备用实际部署时遇到具体报错回到第 9 节的排查表格对照处理。