资讯动态

4 步跑通视频动作迁移:把参考视频里的动作放到另一个人身上

发布时间:2026/8/24 17:49:55 来源:尧图企业网站定制
4 步跑通视频动作迁移把参考视频里的动作放到另一个人身上【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapperComfyUI-MimicMotionWrapper 是一个做视频动作迁移的 ComfyUI 插件把参考视频里的人体动作复制到一张人物照片上生成这个人跳了同一支舞的视频。适合已经在用 ComfyUI、想做图生视频动作迁移的创作者。能做什么、边界在哪换人跳同一支舞给一张模特全身照 一段舞蹈视频输出的视频里模特按原视频的节奏和轨迹完成整套动作外貌、服装、场景跟随照片。数字人动作驱动真人动作视频当作姿态序列给 2D 角色批量生成一致动作省去逐帧动画。边界适合单人、全身可见、动作清晰的竖屏素材推荐 576x10249:16多人交互、大面积遮挡、纯手部特写不在能力范围内。最短路径跑通1. 装插件。把仓库克隆进 ComfyUI 的 custom_nodes装依赖git clone https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper ComfyUI/custom_nodes/ComfyUI-MimicMotionWrapper pip install -r ComfyUI/custom_nodes/ComfyUI-MimicMotionWrapper/requirements.txt2. 等模型自动下载。首次运行时插件自动拉取三个东西MimicMotion 合并 UNet约 3.05GB、SVD XT fp16 底座约 4.19GB、DWPose 两个 TorchScript 模型几百 MB。合计 7GB 以上取决于带宽大约 10~30 分钟下载完缓存在 ComfyUI 的 models 目录。显存建议 10GB 起步8GB 可以把keep_model_loaded关掉走卸载。3. 导入示例工作流。用 ComfyUI 导入examples/mimic_motion_example_02.jsonVHS_LoadVideo 加载动作视频示例里select_every_nth2抽帧LoadImage 加载人物照片两路各经 ImageResizeKJ 缩到 576x1024——这一步不能省两个输入分辨率必须一致。4. 排队运行。链路是 (Down)Load MimicMotionModel → MimicMotionGetPoses → MimicMotionSampler → MimicMotionDecode → VHS_VideoCombine点 Queue Prompt成片落在 output 目录。示例参数20 步、cfg 2.0、16 帧上下文。数据流与核心模块整条管线是「照片 动作视频 → 姿态序列 → 去噪 latent → 视频帧」三个节点各管一段MimicMotionGetPoses逐帧跑 YOLOx 检测人体、DWpose 检测身体/手部/脸部关键点渲染成姿态图并把所有关键点做线性缩放对齐到照片里人物的位置和体型。作用是消除两人构图差异保证动作能贴到目标人物身上。MimicMotionSampler核心采样节点。照片经 CLIP VAE 编码后充当身份锚点姿态图经 PoseNet 编成 pose latent在每个去噪步注入 SVD XT 的 UNet长视频按 context_size 分块、重叠拼接去噪。输出视频 latent。MimicMotionDecode用时间维 VAE 按 decode_chunk_size 分块把 latent 解码成图像帧块越小越省显存。模型版本context_size说明1.0默认16默认分块大小通用1.172不匹配会打警告质量更稳效果调优想达到什么就调什么动作跟着人走得不紧→pose_strength→ 默认 1.0漂了往 1.5~2.0 加。脸或衣服不像照片里的人→image_embed_strength→ 默认 1.0偏 1.2~1.5 增强身份保持。只让后半段视频跟姿态→pose_start_percent/pose_end_percent→ 0~1 之间的起止比例比如前 50% 自由生成、后半段锁姿态。抖动、画面不稳→cfg_min/cfg_max→ 默认都是 2.0保持 2~3 区间noise_aug_strength保持 0。生成太慢→ 挂一个 DiffusersScheduler 节点选AnimateLCM_SVD并勾选 align_your_stepssteps 降到 10 左右即可复用官方 10 档 sigma 曲线。高频坑与一步修复报错 ref_image and pose_images must have the same resolutionGetPoses 强制两路输入同分辨率。把照片和视频帧都过 ImageResizeKJ 到 576x1024。报错 The number of poses must be greater than the context size视频帧数少于 context_size默认 16。多抽几帧或把 context_size 调低。解码阶段 OOMVAE 一次性解太多帧。把 MimicMotionDecode 的decode_chunk_size降到 1~2必要时再降分辨率。首次运行日志长时间卡在下载在拉 3.05GB UNet、4.19GB SVD XT 和 DWPose 模型。先确认 models 目录有 7GB 以上空闲属正常行为下载完不再重复。把示例工作流换成你自己的照片和动作视频跑一遍就能拿到第一版动作迁移结果。【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

读完文章,也想定制专属网站?

尧图设计师 24 小时内与您沟通定制方案

免费获取报价