这次我们来看一个面向AI视频生成的全新ComfyUI教程。如果你对AI短剧、AI漫剧、AI电影制作感兴趣想从零开始学习如何搭建文生视频、图生视频乃至首尾帧视频的工作流那么这篇文章就是为你准备的。它不空谈概念而是聚焦于如何利用ComfyUI这个强大的可视化节点工具在本地或云端实际跑通AI视频生成流程。ComfyUI以其灵活的工作流设计和高效的资源管理著称尤其适合需要精细控制生成过程的进阶用户。本教程的核心在于“搭建”这意味着我们将从环境部署、节点安装开始一步步构建出能够稳定生成视频的工作流。整个过程会重点关注几个实际问题硬件门槛高不高启动麻不麻烦显存占用如何能否支持批量任务以及最终生成的效果是否可用。接下来我们将系统性地拆解整个学习路径。从ComfyUI的核心概念与优势讲起然后准备必要的软硬件环境接着安装基础整合包与关键插件并深入理解工作流的基本结构。之后我们会动手搭建两个最实用的工作流文生视频和图生视频含首尾帧控制并测试其生成效果与性能。最后探讨如何将工作流用于实际项目如短剧制作并解决过程中可能遇到的常见问题。目标是让你看完就能动手做出自己的第一个AI视频。1. 核心能力速览在深入细节之前我们先通过一个表格快速了解基于ComfyUI进行AI视频生成的核心能力与门槛这有助于你判断是否要继续投入时间学习。能力项说明与评估项目类型可视化节点式AI图像/视频生成工具ComfyUI及其工作流教程核心功能文生视频通过文本描述直接生成视频片段。图生视频以单张或多张图片为起点生成动态视频。首尾帧控制指定视频的开始和结束画面让AI补全中间帧实现精准转场。工作流搭建自由连接不同功能的节点模型加载、提示词、采样、视频编码等创建可复用、可分享的生成管道。推荐硬件GPU必需NVIDIA显卡显存建议8GB及以上。6G显存可尝试低分辨率或使用优化技巧但体验受限。4G显存基本无法运行主流视频模型。CPU/内存现代多核CPU16GB以上系统内存。存储需预留大量空间用于存放模型文件单个模型可能从2GB到几十GB不等。显存占用高度依赖模型与参数。使用SVD、AnimateDiff等主流视频生成模型在512x768分辨率下显存占用通常在8-12GB之间。通过启用xformers、使用--lowvram参数、降低分辨率或批处理大小可以优化。支持平台Windows主流、Linux、Mac仅限M系列芯片的Mac且性能与兼容性差异大。启动方式通常通过命令行启动python main.py或使用第三方整合包如“秋叶一键整合包”提供的一键启动脚本。是否支持API是。ComfyUI原生支持WebSocket API和HTTP API可用于程序化调用工作流实现自动化批量生成。是否支持批量任务是。工作流本身可设置批量大小同时可通过API或脚本循环调用轻松处理大量生成任务。适合场景1.内容创作者制作短视频、故事片段、动漫混剪。2.产品与营销快速生成产品展示视频、广告创意。3.教育与研究学习扩散模型、可控生成技术的工作流设计。4.原型开发为游戏、影视前期提供视觉概念动态预览。2. 适用场景与使用边界ComfyUI和AI视频生成技术能力强大但明确其适用边界和伦理法律红线至关重要。它非常适合创意可视化与快速原型将文字或静态画面快速转化为动态视频用于头脑风暴、故事板绘制。特定风格内容生成生成动漫、水墨画、像素艺术等特定风格的短视频成本较低。补帧与动态化为静态插图添加细微动态效果如飘动的头发、闪烁的光效。个性化内容制作基于个人提供的图片或描述生成独一无二的纪念视频。它目前不擅长/不适合生成长篇、高一致性电影现有模型在生成长时间、多镜头且角色/场景保持高度一致的视频方面仍有局限容易出现闪烁、变形。精确的物理模拟对于复杂的物理运动如流体、刚体碰撞模拟能力弱。替代专业视频制作在画质、稳定性、音频同步、复杂剪辑等方面无法与专业软件和人工制作相比。生成真人实拍级视频尽管进步迅速但生成的“真人”视频在细节、连贯性上仍与实拍有差距易被识别为AI生成。法律与伦理边界必须遵守版权与肖像权严禁使用未经授权的版权图片、影视片段作为输入图。使用真人肖像前必须获得当事人明确授权。生成内容若用于商业用途需确保内容本身不侵犯任何第三方权益。内容安全绝对禁止生成任何违反法律法规、公序良俗的内容包括但不限于暴力、色情、虚假信息、诽谤他人等。模型本身有安全过滤器但使用者应主动规避风险提示词。隐私保护不要使用涉及他人隐私的图片或信息进行生成。注明AI生成若将生成内容公开发布建议注明“AI生成”以避免误导。3. 环境准备与前置条件开始搭建工作流之前请确保你的系统环境满足以下要求。这是后续所有步骤的基础。3.1 硬件检查GPU确认你的NVIDIA显卡驱动已更新至较新版本建议版本号 535。在命令行输入nvidia-smi可以查看驱动版本和显卡信息。显存这是最大的门槛。准备至少8GB的可用显存。运行前关闭不必要的图形应用如游戏、大型设计软件。磁盘空间建议预留50GB以上的可用空间用于安装ComfyUI、Python环境以及下载各种模型基础模型、VAE、LoRA、ControlNet等。3.2 软件与依赖操作系统Windows 10/11 64位或 Ubuntu 等Linux发行版。Python需要Python 3.10版本。不推荐使用3.11或更高版本因为很多AI库的预编译轮子对3.10支持最稳定。可通过python --version检查。Git用于克隆仓库和安装插件。确保已安装Git并可在命令行中使用。CUDA与cuDNN如果你使用NVIDIA显卡需要CUDA工具包。推荐使用CUDA 11.8或12.1具体版本需与后续安装的PyTorch版本匹配。使用整合包时通常已内置。3.3 关键概念准备模型Checkpoint大模型决定了生成图像的基本风格和能力如SDXL, SD1.5。VAE变分自编码器用于改善颜色和细节。LoRA/LyCORIS小型适配模型用于微调风格、角色或特定对象。ControlNet控制网络用于精确控制生成图像的构图、姿态、边缘等。工作流Workflow由节点Node和连接线组成的流程图定义了数据如图片、参数的处理路径。4. 安装部署与启动方式我们将介绍两种主流的安装方式使用社区维护的“秋叶一键整合包”最适合新手快速上手和从官方源码安装适合需要自定义环境的高级用户。4.1 方案一使用秋叶一键整合包推荐新手这是最快捷、问题最少的方式集成了常用插件、优化启动脚本和模型管理工具。获取整合包从可靠的来源如B站UP主“秋葉aaaki”的发布页或其指定的网盘下载最新的ComfyUI整合包。注意文件大小通常有几个GB。解压将下载的压缩包解压到一个英文路径的文件夹中例如D:\ComfyUI_windows。路径中不要有中文或空格。下载模型整合包通常只包含框架你需要自行下载模型。将大模型.safetensors文件放入ComfyUI_windows\models\checkpoints文件夹。将VAE模型放入models\vae。将LoRA模型放入models\loras。将ControlNet模型放入models\controlnet。对于AI视频还需要下载视频生成模型如Stable Video Diffusion (SVD) 或 AnimateDiff的模型放入对应的文件夹通常也是checkpoints或专门的animatediff_models。一键启动进入解压目录双击运行run_nvidia_gpu.batN卡用户或根据你的显卡选择对应的启动脚本。脚本会自动安装依赖并启动服务。访问WebUI启动成功后命令行窗口会显示类似Running on local URL: http://127.0.0.1:8188的信息。在浏览器中打开这个地址即可进入ComfyUI界面。4.2 方案二从源码安装自定义性强克隆仓库git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI创建虚拟环境可选但推荐python -m venv venv # Windows激活 .\venv\Scripts\activate # Linux/Mac激活 source venv/bin/activate安装PyTorch前往 PyTorch官网 根据你的CUDA版本选择安装命令。例如CUDA 11.8pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118安装ComfyUI依赖pip install -r requirements.txt下载模型同样需要手动下载各种模型文件并放入项目根目录下的models文件夹对应子目录中。启动python main.py你可以通过参数指定端口和监听地址例如python main.py --listen 0.0.0.0 --port 8188。4.3 安装视频生成关键插件无论哪种安装方式要完成AI视频生成通常需要安装以下插件整合包可能已集成ComfyUI-AnimateDiff-Evolved用于集成AnimateDiff模型实现文/图生视频。ComfyUI-VideoHelperSuite视频加载、合成、预览工具集必不可少。ComfyUI-Frame-Interpolation帧插值可以让视频更流畅。安装插件的一般方法是在ComfyUI根目录下的custom_nodes文件夹内使用Git克隆插件的仓库。例如cd custom_nodes git clone https://github.com/Kosinkadink/ComfyUI-AnimateDiff-Evolved.git克隆后重启ComfyUI新节点就会出现在节点列表中。5. 功能测试与效果验证环境就绪后我们通过构建具体的工作流来测试核心功能。我们从最简单的文生视频开始。5.1 基础功能测试文生视频工作流搭建目标仅通过文本提示词生成一个短视频。启动并清空画布启动ComfyUI打开浏览器界面。默认会有一个示例工作流可以按CtrlA然后Delete清空。加载模型右键画布 -Add Node-Loaders-Checkpoint Loader Simple。选择你下载好的基础大模型如SD1.5或SDXL。设置提示词添加节点Add Node-Conditioning-CLIP Text Encode (Prompt)。连接Checkpoint Loader的CLIP输出到此节点的clip输入。在text框内输入正面提示词例如masterpiece, best quality, a cute cat playing with a ball of yarn, in a sunny living room。同样方式添加CLIP Text Encode (Prompt)用于负面提示词连接同一个CLIP。输入如worst quality, low quality, blurry, deformed。集成AnimateDiff添加节点Add Node-AnimateDiff-AnimateDiff Loader。加载你的AnimateDiff运动模型如mm_sd_v15_v2.ckpt。添加节点AnimateDiff-Apply AnimateDiff Model。将Checkpoint Loader的MODEL输出、Apply AnimateDiff Model的model输入、以及正面提示词的conditioning输出依次连接。配置采样器添加节点KSampler。连接Apply AnimateDiff Model的model输出到KSampler的model。连接正面提示词的conditioning到positive负面提示词的到negative。设置参数steps采样步数如20cfg引导系数如7.5sampler采样器如eulerscheduler调度器如normal。seed可以固定为一个数字以便复现。解码与保存视频添加节点VAE Decode。连接KSampler的LATENT和Checkpoint Loader的VAE。添加节点Video Helper Suite-VAE Encode Batch for AnimateDiff用于将图片序列组织成视频。添加节点Save Animated WEBP/PNG/MP4来自Video Helper Suite。连接上一步的输出。在保存节点中设置fps帧率如8filename_prefix输出文件名。生成点击Queue Prompt按钮。在后台命令行中观察显存占用和生成进度。完成后在输出目录默认ComfyUI\output查看生成的视频文件。关键验证点成功命令行无报错最终生成一个视频文件如MP4并能正常播放。失败排查如果报错“No module named ‘xformers’...”尝试在启动命令添加--force-fp16或安装xformers。如果报错CUDA out of memory降低分辨率、批处理大小或使用--lowvram模式启动。如果视频闪烁严重尝试降低cfg值增加采样步数或使用更稳定的运动模型。5.2 进阶功能测试图生视频与首尾帧控制目标基于一张输入图片生成视频或通过指定首尾帧控制视频演变。加载输入图片添加节点Load Image。编码图片添加节点VAE Encode。连接Load Image的IMAGE和Checkpoint Loader的VAE输出潜空间表示。集成到采样流程将VAE Encode输出的LATENT连接到KSampler的latent_image。这样采样器就会以这张图片为起点进行生成。首尾帧控制高级这需要更复杂的工作流核心思想是分别对“首帧”和“尾帧”进行编码和条件控制然后让AnimateDiff模型在时间轴上插值。通常需要两个Load Image节点分别加载首尾帧。分别对它们进行VAE Encode。使用Latent Composite或专门的插值节点来混合或指导中间帧的生成。或者使用ControlNet如Depth或Canny从首尾帧提取控制信息施加到整个视频生成过程中以实现更稳定的过渡。生成与对比分别测试纯文生视频、单图生视频、首尾帧生视频。观察效果差异单图生视频运动通常更自然但内容变化有限。首尾帧控制能实现更明确的场景转换但对模型控制能力要求高容易不连贯。6. 接口API与批量任务ComfyUI的强大之处在于其可编程性。通过API你可以将工作流集成到自己的应用程序中实现自动化批量生成。6.1 启动API服务ComfyUI默认在启动时就开启了API服务WebSocket和HTTP。你只需要知道它的地址如http://127.0.0.1:8188即可。6.2 获取工作流API模板在WebUI中搭建好一个有效的工作流。点击右侧的Save (API Format)按钮这将下载一个workflow_api.json文件。这个文件包含了所有节点、参数和连接的完整定义。这个JSON文件就是你通过API调用这个工作流的“模板”。6.3 Python调用示例以下是一个使用Pythonrequests库通过HTTP API触发工作流执行的示例。import requests import json import time import urllib.parse class ComfyUIApiClient: def __init__(self, server_address127.0.0.1, port8188): self.server_address server_address self.port port self.base_url fhttp://{server_address}:{port} def queue_prompt(self, prompt): 提交工作流提示数据到执行队列 p {prompt: prompt} data json.dumps(p).encode(utf-8) resp requests.post(f{self.base_url}/prompt, datadata) return resp.json() def get_history(self, prompt_id): 根据执行ID获取任务历史记录包含生成的图片/视频文件名 resp requests.get(f{self.base_url}/history/{prompt_id}) return resp.json() def get_image(self, filename, subfolder, folder_type): 根据文件名等信息获取生成的媒体文件如图片 data {filename: filename, subfolder: subfolder, type: folder_type} url_values urllib.parse.urlencode(data) resp requests.get(f{self.base_url}/view?{url_values}) return resp.content def upload_workflow(self, workflow_json): 上传工作流JSON并返回其ID可选更高级的用法 files {workflow: (workflow.json, json.dumps(workflow_json), application/json)} resp requests.post(f{self.base_url}/upload/workflow, filesfiles) return resp.json() # 使用示例 if __name__ __main__: client ComfyUIApiClient() # 1. 加载你之前保存的API格式工作流JSON文件 with open(你的工作流文件_workflow_api.json, r, encodingutf-8) as f: workflow_api json.load(f) # 2. 动态修改工作流中的参数例如提示词、种子 # workflow_api 是一个字典你需要根据其结构找到对应节点的输入值进行修改 # 例如找到CLIP Text Encode节点的输入文本 # 这需要你了解自己工作流的JSON结构通常可以通过WebUI的“Save (API Format)”来研究。 # 假设你知道节点ID这里是一个伪代码示例 # node_id 某个文本编码节点的唯一ID # workflow_api[node_id][inputs][text] 新的提示词 # 3. 提交任务 prompt_id_info client.queue_prompt(workflow_api) prompt_id prompt_id_info[prompt_id] print(f任务已提交ID: {prompt_id}) # 4. 轮询等待任务完成 while True: history client.get_history(prompt_id) if prompt_id in history: execution_result history[prompt_id] outputs execution_result.get(outputs, {}) if outputs: print(任务完成输出信息, outputs) # 可以从outputs中解析出生成的视频文件路径/名称 break time.sleep(2) # 每2秒检查一次 # 5. 后续可以根据文件名使用get_image方法下载文件对于视频可能需要直接访问输出目录 print(f生成的视频文件通常在 ComfyUI/output 目录下)6.4 批量任务实现基于上述API实现批量任务非常简单准备一个任务列表例如一个包含多组提示词和种子的CSV文件或JSON列表。写一个循环脚本每次读取一组参数。在循环体内加载基础工作流模板用当前参数替换模板中的变量如提示词、种子、输入图路径。调用queue_prompt提交任务。可选为了管理服务器负载可以在每次提交后等待一段时间或检查队列长度。import pandas as pd # 假设有一个CSV文件列有prompt, negative_prompt, seed task_list pd.read_csv(batch_tasks.csv).to_dict(records) for i, task in enumerate(task_list): print(f处理第 {i1} 个任务: {task[prompt][:50]}...) # 1. 加载基础工作流 with open(base_workflow_api.json, r) as f: workflow json.load(f) # 2. 修改特定节点的输入这里需要你预先知道节点ID workflow[6][inputs][text] task[prompt] # 修改正面提示词节点 workflow[7][inputs][text] task[negative_prompt] # 修改负面提示词节点 workflow[3][inputs][seed] task[seed] # 修改采样器种子节点 # 3. 提交 client.queue_prompt(workflow) # 4. 简单延时避免瞬间压垮服务器 time.sleep(10)7. 资源占用与性能观察理解资源占用是稳定运行和优化效率的关键。7.1 显存占用观察主要工具在命令行窗口运行ComfyUI时可以同时打开任务管理器Windows或nvidia-smi命令Linux来观察GPU显存使用情况。关键阶段启动加载模型时显存会大幅上升加载的模型越多、越大占用越高。生成过程中采样计算时显存占用达到峰值。视频生成因为要处理连续帧的潜空间通常比单张图片生成占用更高。生成结束后显存可能不会完全释放部分会缓存以供下次使用。典型数字参考基于SD1.5AnimateDiff512x512分辨率16帧视频显存占用约8-10 GB。768x512分辨率24帧视频显存占用可能超过12 GB。启用--lowvram模式会显著增加生成时间但可能将峰值显存降低2-4GB。7.2 性能优化技巧降低分辨率这是减少显存占用最有效的方法。可以从512x768尝试起。减少帧数生成8帧或16帧的短视频再通过帧插值插件补帧到24或30帧。使用--cpu或--lowvram在启动命令中添加这些参数例如python main.py --lowvram。这会以速度换空间。启用xformers确保已安装xformers整合包通常已集成它能优化注意力计算提升速度并节省少量显存。在启动参数中添加--use-split-cross-attention。清理节点复杂的工作流会占用更多内存。定期清除画布上未使用的节点。模型优化使用经过优化的模型格式如.safetensors并考虑将模型加载到CPU需要时再交换到GPU通过某些特定节点实现。7.3 生成速度生成速度受GPU型号、显存带宽、分辨率、帧数、采样步数影响巨大。在RTX 4060 8G上生成一个512x512分辨率、16帧、20步的视频可能需要1到3分钟。耐心是必要的。8. 常见问题与排查方法以下是搭建和运行ComfyUI AI视频工作流时最常见的问题及解决方法。问题现象可能原因排查方式解决方案启动时提示“Python not found”或“Torch not installed”Python路径错误或PyTorch未正确安装。检查命令行中Python版本尝试import torch。1. 确认使用Python 3.10。2. 在虚拟环境中重新安装匹配CUDA版本的PyTorch。3. 使用整合包可避免此问题。启动后浏览器访问http://127.0.0.1:8188无法连接端口被占用或服务未成功启动。查看启动命令行窗口是否有错误日志或用netstat -ano检查8188端口。1. 在启动命令中更换端口如--port 7860。2. 关闭占用端口的进程。3. 检查防火墙设置。节点缺失无法找到“AnimateDiff Loader”等节点插件未安装或安装不正确。检查custom_nodes文件夹下是否有对应插件目录。1. 使用git clone正确安装插件到custom_nodes。2. 重启ComfyUI。3. 检查插件是否需要额外依赖看插件README。点击“Queue Prompt”后报错“CUDA out of memory”显存不足。观察任务管理器中的GPU显存使用率。1.立即措施降低生成分辨率、减少帧数、降低批处理大小。2.启动参数添加--lowvram或--medvram。3.关闭其他关闭不必要的图形应用。4.模型优化使用更小的模型或优化版模型。生成的视频闪烁、抖动严重运动模型不稳定CFG值过高采样步数太少。对比不同参数下的生成结果。1. 降低CFG Scale如从7.5降到5-6。2. 增加采样步数steps。3. 尝试不同的运动模型如mm_sd_v15_v2.ckpt通常比v1稳定。4. 使用帧插值插件进行后处理平滑。生成的视频很短或只有几帧工作流中未正确连接或配置视频帧数参数。检查Empty Latent Image节点的batch_size决定帧数或AnimateDiff相关节点中的frame_number参数。确保指定生成帧数的节点参数被正确设置如batch_size: 16代表16帧。工作流加载别人的JSON后一片红节点报错缺少对方工作流中使用的自定义节点或模型。查看报错信息通常提示缺失哪个节点类型。1. 根据错误信息安装缺失的插件。2. 确保拥有工作流中引用的所有模型文件检查节点中的模型名称。3. 有时需要手动重新连接某些断开的节点。API调用返回错误或超时工作流JSON格式错误服务器忙或参数不合法。检查API调用返回的JSON错误信息。在WebUI中手动运行相同参数的工作流测试。1. 确保提交的promptJSON格式正确是完整的API格式保存的。2. 检查服务器是否正在处理其他任务导致队列堵塞。3. 简化工作流排除有问题的节点。9. 最佳实践与使用建议为了更高效、稳定地使用ComfyUI进行AI视频创作遵循以下实践建议从简单开始逐步复杂不要一开始就搭建极其复杂的工作流。先从文生图、文生视频的基础链路跑通再逐步添加ControlNet、LoRA、多重条件控制等节点。善用“保存/加载”Save (JSON)保存完整工作流包括节点位置方便自己下次编辑。Save (API Format)保存为纯API调用格式用于脚本集成。Load加载已有的工作流。将成熟稳定的工作流保存为模板。模型文件管理models文件夹下子目录繁多建议定期整理。为不同类型的模型建立清晰的命名规范避免混淆。输出目录管理ComfyUI默认输出到output文件夹。建议在保存节点中设置有意义的filename_prefix或定期归档输出文件避免堆积。版本控制如果你频繁调整工作流可以考虑对工作流JSON文件使用Git进行版本管理记录每次有意义的修改。批量任务加日志在自动化批量脚本中务必为每个任务记录详细的日志包括输入参数、任务ID、生成状态、输出文件路径以及任何错误信息。这便于排查和重试失败的任务。效果测试流程固定种子在调试参数时固定随机种子以便单独观察某个参数如CFG、步数变化带来的影响。小图测试先用很低的分辨率如256x256和帧数如8帧快速测试工作流逻辑和效果确认无误后再用高参数正式生成。分段测试对于复杂工作流可以选中一部分节点右键选择CtrlB转换为组然后CtrlE执行此组来单独测试某个功能模块。合规与备份对重要的、耗时生成的结果进行备份。始终牢记内容安全底线只生成合规内容。ComfyUI是一个将AI视频生成能力“交到你手中”的工具。它的学习曲线初期可能较陡峭但一旦掌握了节点连接的思想你将获得前所未有的控制力和灵活性。从成功运行第一个文生视频工作流开始到能够搭建包含首尾帧控制、风格LoRA、深度ControlNet的复杂流程每一步实践都会加深你对生成模型工作原理的理解。最值得尝试的起点无疑是利用“秋叶一键整合包”快速搭建环境然后加载一个现成的、验证过可用的AI视频工作流JSON文件先看到结果再反推其结构。最容易踩的坑集中在环境依赖、显存不足和插件缺失上按照本文的排查清单基本能解决。接下来你可以探索更多方向如何结合多个ControlNet实现更精准的控制如何集成ADetailer等插件自动修复面部如何优化工作流以实现更快的生成速度如何将ComfyUI与你的内容生产管道无缝对接这个由节点构成的可视化世界正等待着你的连接与创造。建议收藏本文在搭建过程中随时参考。