简介面向AI动画制作与数字媒体研究者的技术资源包整合ComfyUI、AnimateDiff、ControlNet、Openpose与Depth五种工具链覆盖节点化界面编排、关键帧差异补间、运动路径控制及人体骨骼关键点提取等环节形成一套从场景搭建、角色动作到人体骨骼捕捉的完整生成动画工作流。压缩包共202个文件包含200张jpg抽帧图像序列、1个mp4演示视频和1个json配置8.27MB体积轻量便于快速下载与本地复现。jpg序列记录了动画生成过程的逐帧画面mp4展示整段动画的实际输出效果json对应工作流节点参数配置可作为复刻与调试的基准。针对希望掌握ComfyUI等节点式可控动画工具的进阶用户资源尤其适合观察OpenposeDepth如何融入现有UI与模型组合理解动作数据与深度信息如何协同驱动AnimateDiff生成平滑中间帧。目前已有758人学习下载是一份兼顾理论与实践起步、便于快速上手的实用素材。1. ComfyUIAnimateDiffControlNet三件套为什么是你该学的第一条可控动画链路把一张静态图变成一段人物自然动作的视频过去要在关键帧之间手工补中间帧现在 ComfyUIAnimateDiffControlNet 这套组合可以让你直接用骨骼图和深度图驱动画面动起来。它在解决一个核心诉求动画不是“随便动”而是按你指定的姿态、空间关系去动。ComfyUI 是画布和工作流载体AnimateDiff 负责在帧与帧之间注入运动信息ControlNet 的 OpenPose 和 Depth 则分别锁住动作骨架和画面纵深。这套链路适合已经能出图、想往可控视频方向走的 Stable Diffusion 用户也适合需要批量生成角色动画、运镜测试的从业者。我接下来会按实际搭建顺序把每个环节的选型、参数和坑一次讲完。2. 先把 ComfyUI 跑起来从安装到拿到 OpenPose 与 Depth 预处理图2.1 ComfyUI 两种部署方式整合包和官方源码怎么选我在本地环境折腾过几次 ComfyUI先说结论如果你主要是想跑通动画类工作流、不想被依赖问题缠住直接用秋叶一键整合包最快如果你想长期维护自定义节点和模型版本建议按官方源码方式装一遍心里有底。部署方式优点缺点适合场景秋叶 ComfyUI 整合包自带启动器、模型目录预置、插件管理界面版本更新滞后自定义环境不透明新手、快速跑工作流官方源码 手动装依赖版本可控、能跟进最新节点、排错路径清晰需要自己处理 Python 环境要做二次开发或长期维护如果你选官方源码常规做法是拉仓库、建虚拟环境、装依赖。这里给一份我常用的安装命令注意我已经把 pip 源切到国内镜像避免下载超时反复重试git clone https://github.com/comfyanonymous/ComfyUI.git cd ComfyUI python -m venv venv source venv/bin/activate # Windows 下用 venv\Scripts\activate pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple python main.py这段命令里 python -m venv 是创建独立的 Python 环境防止 ComfyUI 的依赖和你机器上其他项目互相污染pip 的 -i 参数指定了国内镜像源是解决依赖装不上的第一步。启动后浏览器访问 127.0.0.1:8188 就是工作台。接下来装 ComfyUI-Manager它是后续找模型、装自定义节点最重要的入口。直接把它 clone 到 custom_nodes 目录下cd custom_nodes git clone https://github.com/ltdrdata/ComfyUI-Manager.git装完重启 ComfyUI左侧会多出 Manager 按钮AnimateDiff 相关的自定义节点、ControlNet 辅助节点都可以在里面搜索安装。这一步我给的建议是别急着把看到的节点全装一遍先装后面工作流真正用到的ComfyUI-AnimateDiff-Evolved和comfyui_controlnet_aux装得越多启动越慢节点冲突概率越高。2.2 生成 OpenPose 骨骼图和 Depth 深度图节点与参数ControlNet 的 OpenPose 和 Depth 都需要一张预处理图作为输入条件ComfyUI 里把这步封装成了预处理器节点。常规做法是在节点列表里搜ControlNet Preprocessor它内部会加载对应的姿态估计或深度估计模型。OpenPose 预处理的关键参数是“是否检测手部和脸部”。我一般把detect_hand和detect_body都打开detect_face视情况而定——半身或全身镜头开着没问题脸部特写镜头反而容易因为遮挡产生错误关键点。Depth 预处理我喜欢用 DepthAnything 系列小模型depth_anything_vits在 512 分辨率下够用但如果你要生成 768 以上分辨率换vitl大模型会更稳。这两种预处理图生成后一定要先肉眼检查骨骼图的关键点不能乱连线深度图的前景和背景要分清。我见过不少人直接把一张识别错的图丢进 ControlNet结果动画出来人物姿态完全不是想要的还以为是参数问题最后发现是预处理图错了。2.3 在动起来之前先做一次静态图可控生成不要一上来就直接生成动画。先用单张图把 ControlNet 的控制链路验证通这样后面动画出问题你能快速区分是控制链路的问题还是运动模块的问题。我这里给一个最简节点序列加载主模型 → 加载 ControlNet 模型 → 把 OpenPose 图送进 ControlNet 应用节点 → 采样 → 解码出图。ControlNet 加载节点的关键配置是模型路径。我习惯在models/controlnet目录下把 openpose 和 depth 模型分开命名方便切换。模型文件名里带sd15的是给 SD1.5 主模型用的带xl的是给 SDXL 用的这两类不能混用混了会直接报 shape 不匹配错误。静态验证时ControlNet 的 strength 我习惯先给 0.8。如果生成的图姿态和骨骼图明显不一致先别急着调 strength检查预处理图里关键点是否识别正确确认预处理图没问题再把 strength 往上加。depth 和 openpose 同时开启时两张条件图的分辨率必须一致否则 ControlNet 会挑其中一张作为基准另一张直接失效。还有个容易踩的细节预处理图是 RGB 三通道图但有些节点会输出单通道灰度图。在连线时如果看到节点报 tensor shape 错误多半是这里出了问题接一个图像转换节点把通道数统一就好。静态图能稳定复现姿态后我们再进入 AnimateDiff 环节。3. AnimateDiff 运动模块与 ControlNet 双控制先看懂再调参3.1 AnimateDiff 到底在动什么运动模块的作用边界AnimateDiff 不是像传统视频生成那样逐帧去噪它是在 Stable Diffusion 的 UNet 里注入一组运动模块让模型在去噪的同时感知相邻帧之间的时序关系。你可以把它理解成原本模型每次只处理一张图现在一次处理一批帧并且这批帧之间共享同一套噪声起始点靠着运动模块让每一帧的内容在时间维度上连贯。这里有个关键边界AnimateDiff 管的是“帧间一致性”不管“动作是否合理”。动作是否合理取决于你给的条件图——也就是 ControlNet 的 OpenPose 骨骼序列。所以这条工作流里 AnimateDiff 负责让画面稳定不闪烁ControlNet 负责让动作符合你的设定两者职责不同不能互相替代。运动模块本身也有版本区分。SD1.5 系主模型通常配mm_sd15_v2.ckpt或者更新的 v3 版本后者对大幅度动作的泛化更好SDXL 系的运动模块目前成熟度不如 SD1.5 系如果你刚接触这套链路我建议先用 SD1.5 系主模型 对应运动模块把流程跑通再考虑升级。选择依据是主模型架构不是越新越好。3.2 OpenPose 和 Depth 为什么不冲突而是互补单个 ControlNet 已经能对生成结果施加约束为什么要同时上 OpenPose 和 Depth原因在于它们约束的维度不同。OpenPose 约束的是人体关键点的位置关系它决定了“人摆了什么姿势”Depth 约束的是场景中物体的远近关系它决定了“人和背景的空间层次”。只开 OpenPose 时人物姿态是准的但人物在画面里的纵深位置、背景物体的遮挡关系会漂经常出现人一会儿大一会儿小的情况。只开 Depth 时空间关系稳住了但人物的手脚动作完全失控。两个一起用相当于动作和位置同时被锁住AnimateDiff 只需要负责让这两个约束在帧间平滑过渡生成稳定性会明显提升。有个实用建议OpenPose 的 strength 可以比 Depth 高一些。因为动画的核心是动作动作错了整段素材就废了Depth 稍微放松一点背景有一点细微变化反而让画面更自然。我常用的比例是 OpenPose 0.8、Depth 0.5后面会讲怎么根据实际效果微调。3.3 七个必调参数和它们的联动关系这套工作流参数看着多真正需要你动手调的就七个。我把它们整理成一张表后面配参数预设时可以直接对照参数作用范围我常用的取值踩坑提示steps整体采样步数24-30低于 20 时 ControlNet 容易失效cfg提示词贴合度6-8过高画面会过饱和且动作僵硬context_length一次处理多少帧8 或 1616 帧显存敏感小心 OOMoverlap分块间的重叠帧数4不设 overlap 会导致块与块之间闪烁controlnet_strength条件图影响强度OpenPose 0.8 / Depth 0.5太高动作僵硬太低姿势跑偏start_percent / end_percent控制条件在采样中的生效区间0 到 1收太早后段帧会脱离约束motion_scale运动幅度缩放默认 1.0调高会动作放大但可能变形这七个参数不是独立的。steps 决定采样过程的总步数步数少时 ControlNet 的修正还没来得及生效就结束了所以 end_percent 也不能收太早cfg 和 motion_scale 之间有个平衡cfg 调高会压制运动幅度如果感觉动作不够明显先降 cfg 而不是强行拉 motion_scale。context_length 是显存大户它直接决定一次有多少帧同时进模型计算。显存不够时与其硬上 16 帧然后 OOM不如用 8 帧加 overlap4生成质量不会差太多但显存占用可能降 30% 以上。记住 AnimateDiff 的运动模块是跨帧计算的context_length 太小比如 4会让运动感知几乎失效动画会变成一帧帧的独立图片。4. 把动画工作流完整搭出来模型加载、节点接线与参数预设4.1 需要的模型文件标准目录跑通这条工作流你需要四类模型文件。我把它们放在哪、干什么用整理成清单照这个结构准备就不会乱文件类型放哪个目录作用命名建议主模型 checkpointmodels/checkpoints生成画面的基础模型决定画风realistic_512.safetensorsControlNet openposemodels/controlnet控制人物姿态control_v11p_sd15_openpose.pthControlNet depthmodels/controlnet控制空间深度control_v11f1p_sd15_depth.pthAnimateDiff 运动模块models/animatediff_models注入帧间运动信息mm_sd15_v2.ckpt目录结构长这样ComfyUI/models/ ├── checkpoints/ │ └── realistic_512.safetensors ├── controlnet/ │ ├── control_v11p_sd15_openpose.pth │ └── control_v11f1p_sd15_depth.pth ├── animatediff_models/ │ └── mm_sd15_v2.ckpt └── vae/ └── vae-ft-mse-840000-ema-pruned.ckpt这里特别注意一个命名细节目录里可能出现同名不同后缀的文件比如 openpose 既有.pth也有.safetensors。我建议统一用一种格式避免加载节点时选错文件两种格式在功能上没有区别但混用会导致训练权重记录和实际加载不一致的隐性错误。VAE 文件容易被人忽略。有些 checkpoint 内置了 VAE但画质细节会有损耗我习惯单独加载一个微调过的 VAE 文件在解码环节接VAE Loader显式指定。动画场景里单独 VAE 对皮肤纹理和细小物件的稳定性帮助明显值得多花一次下载时间。4.2 核心节点接线顺序每一步连线的含义工作流的接线顺序决定了数据怎么流动我把链路拆成下面这张线性图每个节点单独解释Load Checkpoint → 文本提示词 → ControlNet Loader(openpose) 预处理图 → ControlNet Loader(depth) 预处理图 → AnimateDiff Loader(运动模块) → KSampler(采样器) → VAEDecode → 视频输出先加载主模型这是所有后续节点的上下文。ControlNet Loader 分两路接进来一路是 openpose 模型加骨骼图一路是 depth 模型加深图两者并行不互相依赖。AnimateDiff Loader 接在主模型后面它往 UNet 里注入运动模块这一步必须在采样之前完成。最后采样器负责生成帧序列。采样器里的批次大小要设置成你想要的动画帧数不是 1。这里有个容易搞混的点生成单张图时批次大小通常是 1但动画场景下批次大小等于总帧数比如 16 帧动画就是 16。帧数越多显存占用线性增长16 帧在 12G 显存下通常已经是上限了。视频输出我一般用VHS_VideoCombine节点它能把生成的帧序列编码成 mp4 或 gif。参数上建议关闭音频轨帧率设 8 到 12 就够了动画预览阶段不需要高帧率文件体积还能小很多。帧率设太高反而暴露生成的不稳定性让你误判工作流有问题。4.3 一套可直接套用的参数预设和提示词写法直接给一套我验证过的起点参数。主模型任意 SD1.5 系写实模型16 帧分辨率 512x768{ steps: 28, cfg: 7, sampler_name: euler_ancestral, scheduler: normal, batch_size: 16, controlnet_openpose_strength: 0.8, controlnet_depth_strength: 0.5, animatediff_context_length: 16, animatediff_overlap: 4, animatediff_motion_scale: 1.0 }steps 28 配合 euler_ancestral 是动画场景里比较平衡的设置出图质量稳定耗时可控。cfg 7 是写实风格的甜点区间再高会让动作幅度变小。context_length 和 batch_size 都设 16意思是 16 帧作为一个完整序列一次性生成overlap 4 在这里不会生效只有分块时才有意义。提示词写法上动画和文生图有个重要区别描述动作的词比描述画面的词更关键。a man walking forward, full body比a handsome man优先级高得多。另外静态描述词要尽量减少——比如“细节丰富”“超清”这类词会让模型更注重单帧画质而忽略帧间一致性反而容易造成闪烁。背景描述尽量简单因为 Depth 图已经在控制空间关系提示词里频繁强调背景反而可能和 Depth 条件冲突。如果显存不够支撑 16 帧把 batch_size 和 context_length 同时改成 8overlap 保持 4生成完两段 8 帧再由 VHS 节点拼接。注意 AnimateDiff 分块生成时每块的起始噪声不同拼接处会有轻微跳变overlap 能缓解但无法完全消除这是分块方案的固有妥协。5. 动画工作流最常翻车的 5 个坑现象、原因和解决办法5.1 人物像“果冻”一样扭动轮廓变形严重现象是动画里人物的身体轮廓像流体一样蠕动肌肉线条在帧间不规则变化。原因通常是 ControlNet 的 strength 开得太高每帧都被强制拉向骨骼图的关键点而这种强制在帧间是不平滑的导致身体边缘抖动。同时还要检查主模型和运动模块是否匹配SD1.5 主模型配了 SDXL 的运动模块也会有类似表现。解决办法是先降 openpose strength 到 0.6 以下观察轮廓是否稳定。如果稳定了再逐步加回 0.8。另外可以尝试把运动模块换成 v3 版本它对大幅度动作的帧间过渡处理更平滑。我用这个组合时有个经验果冻效应大多不是运动模块的问题而是 ControlNet 单帧约束过强优先调 strength 而不是换模型。5.2 手指乱飞骨骼图看着正常但生成后手部完全畸形这个现象非常典型检查预处理图时骨骼的手部关键点明明存在可生成结果的手就是拧的。原因是 OpenPose 预处理器对手部小关键点的识别置信度不够姿态估计输出的 21 个手部关键点里如果有一两个位置偏移ControlNet 会把它当成强约束生成时就会崩坏。解决办法是在预处理节点里开启手部修复相关的选项或者换用 DWPose 预处理器。DWPose 在常见姿态估计里对手部处理的鲁棒性更高ComfyUI 的 controlnet_aux 插件里可以直接切换。如果手部姿态是你动画的核心动作还有一个笨办法但有效把画面裁到上半身特写让手部关键点占画面比例更大识别准确率会显著提升。5.3 16 帧直接显存 OOM换 8 帧又嫌短现象是 batch_size 设 16 后采样一开始显存就爆报 torch out of memory。原因是 16 帧同时进 UNet 计算中间激活值占用的显存是单张图的十几倍12G 显存根本扛不住。但只换 8 帧动画长度又不够用。解决方法是分块生成batch_size 和 context_length 都设 8overlap 设 4先生成两段后再由视频合并节点把帧序列拼起来。注意分块生成的拼接处会有轻微跳变加 overlap 能让 AnimateDiff 在重叠帧上做平滑过渡。另一个可选项是启用 VAE 分块解码VAE 解码阶段也很吃显存把它拆成小块能再省出一部分空间。降分辨率到 512x512 是最后手段但画面构图会被明显压缩我先不建议。5.4 背景 Depth 图在闪烁人物反而稳定这个坑比较隐蔽人物姿态稳定但背景的家具、墙面在帧间明暗闪烁。原因是 Depth 预处理器对背景区域的深度估计不稳定尤其纹理复杂的区域不同帧识别出的深度值有细微差异ControlNet 把这些差异放大成了明暗变化。另一个原因是 depth strength 偏高背景约束过强任何深度图噪声都被强制表达出来。解决办法是降低 depth strength 到 0.3-0.4 区间同时把 depth 的 end_percent 收在 0.8 左右让采样后期不再强约束背景。如果还闪检查用的是不是大模型版本。DepthAnything 的vitl大模型在背景估计上比小模型稳定不少显存有余量就换大的。5.5 控制条件失效生成结果和骨骼图完全不像现象是 ControlNet 明明加载了生成的动画却完全没按骨骼姿势走。我遇到过一次排查后发现是 steps 设成了 18 且 end_percent 收在 0.7采样步数太少控制条件还没完全生效就被截断了。ControlNet 的约束是在去噪过程中逐步施加的步数低于 20 时这个施加过程太短模型来不及响应条件图。解决方法是把 steps 提升到 26-30end_percent 保持 1.0 或至少 0.9。同时检查 cfgcfg 低于 5 时模型对提示词和控制条件都过于放任也会表现为控制失效。如果你用 euler_ancestral 这类带噪声的采样器步数太少时噪声还没被完全去除画面会残留颗粒感同样会被误判为控制失效。6. 从“能动”到“好看”让动画更稳的几个进阶手段6.1 用同一套骨骼序列做运镜效果OpenPose 骨骼图不只是静态动作它可以是一段视频里逐帧提取的骨架序列。想实现推拉摇移的镜头感不需要改工作流只需要换输入的运动骨骼序列。把镜头靠近人物的视频过一遍 Pose 预处理器生成的骨骼动画自然带着缩放和位移趋势AnimateDiff 会把它转化成画面运动。这个做法比手动关键帧高效得多而且骨骼序列天然平滑生成的镜头运动不会有机械感。我实际用下来推镜头效果最自然摇镜头偶尔会出现画面边缘扭曲因为 Depth 约束在视角变化时会产生不一致。遇到这个问题就把 depth strength 再降 0.1 试试。6.2 首尾帧衔接做无缝循环动画循环动画是角色动画里很常见的需求但直接生成很难让尾帧接回头帧。做法是把骨骼序列处理成循环的把第一帧的姿态复制到最后一帧之后生成时让 AnimateDiff 把动作过渡拉成闭环。为了强化首尾一致生成的帧数里多预留 2-3 帧编码输出时裁掉尾部多余帧循环点会自然落在相同姿态上。这个方法对重复动作比如走路循环、挥手循环效果很好但大幅度的非周期性动作不适合硬套循环会让运动模块产生不自然的抽动。另外开 motion_scale 到 1.2 配合循环动作能让运动更舒展但注意别开过头超过 1.5 时画面会有拉伸畸变。6.3 别急着一帧帧调参先跑参数批组对比我踩过最大的坑就是对着单次生成结果反复微调单个参数最后陷入“调了 strength 画面更稳了但动作丢了调回动作又开始闪”的死循环。正确做法是固定其他参数一次跑一组对比生成。我的习惯是每次跑 4 个版本openpose strength 分别取 0.7/0.8/0.9和 depth strength 0.4/0.6 组合全部输出 gif 后统一回放对比。这样对比的意义在于你能同时观察到动作幅度、稳定性和背景一致性三个维度的变化趋势而不是被单次生成的随机噪声误导。生成结果的随机性很大单次失败不代表参数不对批组对比才能看出参数的真实影响。工具方面不用额外装东西ComfyUI 本身就支持一个工作流里并行挂多个采样器把 ControlNet strength 改成不同值直接跑就好。到现在为止这套链路从安装、预处理、调参到排坑已经覆盖了把静态图变成可控动画的全部环节。我做这类动画这么久心得是控制条件的优先级永远高于画质追求先把动作和空间锁稳再回头优化细节。生成动画是个反复验证的过程希望帮到你。本文还有配套的精品资源点击获取