论文摘要翻译基于指令的视频编辑通常建立在视频预训练的生成式骨干之上需要以相当高的成本对一个视频扩散 Transformer 进行适配使其能够以源视频和编辑指令为条件。本报告探索了一条不同的路线并证明一个强大的指令式图像编辑模型可以直接作用于视频 VAE 的潜变量来完成视频编辑。我们以 Qwen-Image-Edit 为起点将 Wan 2.1 视频 VAE 的逐帧潜变量排列成一张大型虚拟图像的瓦片为每一块瓦片复用编辑器原有的图像位置编码并用一对轻量化的输入/输出投影来桥接两个潜空间——投影层从编辑器自身的 patchify 与 unpatchify 层热启动使得在初始化时刻一段静态视频的嵌入与模型早已理解的图像完全一致。整个系统在公开的 Ditto-1M 编辑三元组上微调另以 Wan 2.2 的少量去噪步骤作为可选的时序增强器。我们用一系列零训练观察为该设计提供动机现成的图像编辑器已经能够编辑以缩略图拼贴contact sheet形式呈现的视频它对拼贴的 token 究竟来自一次性联合编码、还是来自逐帧独立编码后在潜空间中的拼接并不敏感它甚至能够以零样本方式编辑真正的视频潜变量且达到清晰可辨的程度——留给微调的只是弥合一个保真度缺口。我们的结果表明尽管业界在训练视频潜空间上投入巨大逐帧视频潜变量与图像域仍然足够接近成熟的图像编辑先验只需极少的适配即可完成迁移。引言视频编辑的默认路径在扩散模型统治视觉生成的第六个年头视频编辑一直沿着一条默认路径支付成本要改视频先造视频模型。InstructPix2Vid 时代的 2D 膨胀、DiT 时代的 VACE 与 Editto主流路线无一不从视频生成底座出发先拥有时序建模能力再嫁接编辑能力。代价是每一次百万级视频三元组的重训练、数百卡周的起跑账单以及与底座强耦合的技术债。2026 年 8 月 14 日UT Austin 与 Adobe Research 的论文arXiv:2608.14790 [1]给出了一个反例一个从未见过视频的图像编辑模型经两个可训练投影层与一张位置编码表改造后直接在 Wan 2.1 的视频 VAE 潜空间中完成指令级视频编辑。澄清一处命名Qwen-Video-Edit 并非阿里 Qwen 团队官方产品而是建立在 Qwen-Image-Edit [6] 之上的第三方学术工作——后者于 2025 年 8 月 19 日正式发布GitHub 仓库公告于前一日上线官方博客与媒体报道集中在 19 日以 20B MMDiT 架构和顶级的开源图像编辑指令遵循能力闻名。看它做到什么程度——同一段长视频被逐块编辑、每块一条不同指令全程没有一个视频预训练骨干参与论文首页arXiv:2608.14790Figure 1 展示单条长视频被逐块编辑每块使用不同指令。注意论文未证明编辑质量对标专用视频编辑模型全文以定性演示为主无标准化基准对比表它证明的是另一件事——图像编辑先验与视频潜空间之间的域差距小到一次轻量桥接即可跨越。三个零训练观察方法诞生之前论文最精彩的部分不在模型而在动手之前的三个探测实验每个实验拆掉一个视频编辑必需条件的假设。观察①像素空间把 N 帧按 r×c 拼成 contact-sheet 大图喂给原版 Qwen-Image-Edit跨帧一致地完成编辑——主体身份、色板、编辑强度全部自洽。原因是所有瓦片 token 在全局注意力中互相可见等价于同一幅连贯图像内部的 token。论文 Figure 2指令 Edit the skier into a robot 的网格编辑输出——九个时间采样帧全部被一致地替换为同一机器人姿态逐帧对应。观察②潜空间解耦contact-sheet 在像素空间把帧耦合成一张大图。若网格编辑依赖这种联合编码则对逐帧产生的视频潜变量毫无意义。于是作者拆掉耦合每帧用图像 VAE 独立编码仅在 token 层拼接——关键是每块瓦片保留它在完整画布中应有的 RoPE 坐标显式帧索引 虚拟网格中的空间偏移。这之所以可行是因为编辑器 RoPE 是逐 token 的、注意力对排列等变。结果与像素网格编辑不可区分对应论文 Figure 3公交车→GPU 显卡的编辑序列见 [1] 的 HTML 版第 3.2 节。观察③视频潜空间零样本把逐帧潜变量直接换成 Wan 2.1 因果 3D VAE 的潜帧、仅经模仿编辑器自身 patchify 层的投影零训练已能产生清晰可辨的指令编辑对应论文 Figure 4。剩余差距是保真度fine-tuning 只需补上一个保真度缺口而非跨越域鸿沟。论文 Figure 4视频潜力的零样本编辑。将图片中的跳舞女孩变成机器人三步链把训练视频编辑模型归约为修正表示映射。但也应指出三个观察的贡献是诊断性的——它们证明了域差距小没有解释为什么小。架构两处可训练参数与关键公式系统的可训练参数仅两处其余Qwen-Image-Edit DiT 主体、Qwen2.5-VL 文本分支、Wan 2.1 VAE全部冻结。母架构是 Qwen-Image 系列的双流 MMDiTQwen-Image 官方架构Qwen-Image Technical Report Figure 6冻结 Qwen2.5-VL 提供文本/视觉条件图像 VAE 提供潜表示双流 MMDiT 块级联 [7]。它借用的潜空间两端是 Wan 2.1 的因果 3D VAE时序 4×、空间 8×、16 通道Wan 2.1 官方架构UMT5 文本条件 N×DiT 块两端由 Wan-Encoder/Decoder 包裹 [8]。Qwen-Video-Edit 保留 Encoder/Decoder 与潜空间替换中间的全部生成计算。论文 Figure 5 给出了完整的整体结构图论文 Figure 5Qwen-Video-Edit 整体架构以下按组件逐一拆解其数学结构。热启动桥接投影。输入侧是一个 Conv3d核 (1,2,2)对每帧潜变量独立作用其权重由编辑器原生 patchify 层精确重排而来W_in ∈ ℝ^{d×64}其中 64 16×2×216 个潜通道 × 2×2 空间 patchW_inᵛ Reshape(W_in) ∈ ℝ^{d×16×2×2}即 Conv3d 的核张量token_i W_inᵛ · patch(z_t)帧间无混合其中 d 为 DiT 隐藏层宽度z_t 为 Wan 2.1 VAE 编码的第 t 帧视频潜变量ℝ^{16×h×w}patch(·) 表示对单帧潜变量做 2×2 空间邻域的展开。输出侧对称Linear 层热启动自 unpatchify 层 W_out。t0 初始化时一段静态视频的嵌入在数值上严格等于一张图像的嵌入——训练从第 0 步起就在编辑视频 tokenfine-tuning 只需学习分布漂移。Grid RoPE。45 帧经 4× 时序下采样得 12 个潜帧排为 3×4 网格。每个 token 的位置由帧内坐标 (i, j) 与其所在瓦片在虚拟大图中的偏移合成。源视频与目标噪声在内部表示中被当作索引 0 和 1 的两个帧复刻图像编辑器预训练时学到的参考图—噪声图相对关系。依赖注意力对 token 排列的等变性二维 RoPE 被直接复用为这张虚拟大图的位置系统——视频被映射为一张超大虚拟图像的瓦片模型对此无感知。训练目标。标准 Flow Matching [1]L E[ ‖ v_θ(x_t, t, c_src, instr) − (x₁ − x₀) ‖² ]其中 v_θ 为 DiT 参数化的速度场x₀ 为高斯噪声、x₁ 为干净视频潜帧x_t 为按噪声调度 σ(t) 对二者插值得到的中间样本c_src 为源视频条件源帧 3×3 缩略图网格经冻结 Qwen2.5-VL 编码instr 为文本指令。数据为公开 Ditto-1M [9]100 万三元组。超参本身就暴露了轻干预的底气LoRA rank32、lr1e-4、8×H100 起步全量微调版 lr1e-5。推理沿用图像编辑器配方40 步去噪、CFG4.0可选 Wan 2.2 T2V-A14B 做少量 SDEdit 式重加噪增强Ditto 配方 [9]——因 Wan 2.1/2.2 共享 VAE 潜空间编辑结果无缝回流抛光。机制Grid RoPE 回避时序建模的代价Grid RoPE 把时间折叠进空间代价是帧间的时间顺序被降维为网格行列差第 1 帧与第 3 帧在注意力中的距离由它们在 3×4 网格中的空间邻接决定而非时间间隔。系统内嵌的隐式假设是时间邻接 ≈ 网格邻接其成立条件是运动的近似时间均匀性。论文自己的局限性讨论与此方向一致高运动内容下时序压缩的 Wan 潜帧把外观与运动纠缠在一起这正是网格等距先验失配的体现。这一假设的失效是可以检验的。以下两个诊断命题是本文为后续研究设计的验证方案并非论文内容论文只做了高运动表现更差的定性观察D1探针实验构造时间等距但内容突变率不等的视频匀速运动 vs 急停-静止交替编辑漂移应与帧间内容差 × 网格距离倒数相关而非与帧索引间隔相关D2分布外推Ditto-1M 的源素材取自 Pexels 专业级片段构建时又经基于 CoTracker3 轨迹的运动尺度过滤、移除静态与低运动内容 [9]——训练分布因此系统性偏向中低运动幅度、且偏向运动模式规整的素材。据此推论模型在高分位运动上的编辑失效应呈单调恶化失效斜率应与过滤阈值的取值相关非规整运动手持、体育同样可能落在分布外。值得注意的是D2 预测的数据分布失效与 Grid RoPE 的结构先验失配在高运动场景下指向同一个软肋——前者是训练分布的偏置后者是位置编码的偏置二者叠加决定了高运动内容是这项技术当前最脆弱的地带。能力与工程能做什么代价是什么项目页 32 组对比 demo [3] 显示其擅长区间固定/缓动机位的风格与语义编辑、粗糙素材抛光、参考风格迁移、遮挡物移除与背景扩展、主体替换、多轮组合编辑指令细度可达换掉镜头里那只海鸥。边界同样清楚81 帧720P 约 3 秒级上限长视频须分块且跨块一致性未解决大幅运动下弱于专用视频模型首次编辑需匹配特定 shift 噪声调度表与 source condition 配置--latent_mode / --pe_mode / --num_frames必须对齐 checkpoint 训练配置 [2]这是图像调度规则硬搬到视频 token 分布的代价。工程落地方面2026-08-20 起项目仓库自身即为 ComfyUI custom-node packQwenVideoEdit 类别下 Loader / Sampler(one chunk) / Wan2.2 Enhance(Ditto) 三节点并非第三方 wrapper 收录 [2]。模型 zoo 按 Ditto-1M 训练子集与帧数组织默认推荐 360P/step-30000性价比最优与 480P/global_local_81高分辨率或长片段另有 global、local、sim2real 单子集变体及 720P 版本——README 明示 720P 仅训练 3500 步、是整个 zoo 中收敛最差的 [2]。按项目文档标注的内存配置编辑栈约 55GB、Wan 2.2 增强栈约 28GB两者无法共存于一张 80GB 显卡采样器与增强节点自动换入换出默认空闲栈驻留 CPU 内存需约 100GB 主机内存小显存主机可将增强节点设为 low_ram 模式编辑栈完全释放、下次采样时从磁盘重载约数分钟[2]。作为参照端到端视频编辑基线需同时加载视频生成主干显存与算力门槛在结构上更高——但跨方案的显存对照没有公开同表数据此处不做精确比较。前提潜空间接口的政治一个易被演示效果放大的幻觉值得纠正Wan VAE 并非被设计为跨模型标准接口而是被本项目选为桥接点之后才在这套系统里扮演接口角色。路线有效性依赖三个具体前提同时成立Wan 系 VAE 潜空间几何恰与图像 token 分布相容Wan 2.2 与 2.1 共享 VAE增强接力前提社区继续围绕 Wan 系权重做生态。任一前提消失下一代模型换 VAE、或端到端像素生成成为主流桥接层需重新焊接。所以这条路线的准确读法是针对当前开源生态位的高效套利而非可移植的通用方法论。但具体桥接不可移植不代表全部价值不可迁移。这套先探测域差距、再决定干预位置的诊断流程是可移植的——换一个视频 VAE三个观察实验仍可原样重跑可行性结论会先于训练账单给出。对从业者而言这是比 checkpoint 更长久的部分。后续坐标2026 年下半年的两条图像编辑器视频化路线这条路线并非孤例。最直接的后续对照是 arXiv 2610.110372026 年 10 月 8 日提交NeurIPS 2026 接收 [5]同样以复用图像编辑器为核心但路线相反——Stage-1 用图像编辑器编辑关键帧Stage-2 用视频扩散模型做关键帧插值以轻量运动表示衔接两段。arXiv 2610.11037 的两阶段架构图像编辑器负责关键帧语义编辑视频扩散模型负责时序补全。两条路线的分歧点是时序先验放在哪里。关键帧插值路线保留视频模型的时序先验插值天然平滑但编辑粒度受关键帧覆盖率限制两段模型的误差会级联潜空间直编路线全帧可编辑、单模型闭环但时序一致性完全依赖图像编辑器的跨帧归纳偏置与 Grid RoPE 的位置工程即上一节的脆弱点。还需注意两条路线的证据等级并不对称2610.11037 在 IVEBench 与 VIE-Bench 上报告了定量结果 [5]Qwen-Video-Edit 则以定性演示为主。两者不是同一证据等级上的竞争而是有基准数字的关键帧路线与低训练成本的全帧直编路线之间的权衡竞争。两条路线的时间差不到两个月目前尚不足以判断先发是否转化为生态优势——完整的比较要等 Qwen-Video-Edit 补上定量评测、或 2610.11037 开放训练成本数据。结语Qwen-Video-Edit 的贡献可以精确地写成一句话三个零训练观察钉死了能力边界的可行性两个热启动投影层完成了成本极低的跨越。LoRA、warm-start、适配层都是既有工具箱的组件这项工作的价值在于示范了一种值得写进工程手册的认识论顺序——先探测、后干预、且干预最小。这是一篇执行得非常干净的可行性验证报告。它之后两个月内出现的后续工作表明把图像编辑器变成视频编辑器已经从一次漂亮的套利变成一场关于时序先验归属的真实竞赛。参考资料Bai, Y., Gandelsman, Y., Gharbi, M., Huang, Q.Instruction-Based Video Editing by Repurposing an Image Editing Model. arXiv:2608.14790, 2026-08-14. https://arxiv.org/abs/2608.14790 HTML 全文https://arxiv.org/html/2608.14790v1 GitHub 官方仓库模型 zoo、ComfyUI 节点、训练/推理脚本、README 内存说明、更新日志https://github.com/yunpeng1998/Qwen-Video-Edit项目演示页32 组 Original/Edited 拖拽对比https://yunpeng1998.github.io/Qwen-Video-Edit-Page/Hugging Face 模型页https://huggingface.co/yunpeng1998/Qwen-Video-EditTransforming Image Editors into Video Editors, arXiv:2610.11037, 2026-10-08NeurIPS 2026 接收https://www.arxivdaily.com/papers/2610.11037Qwen-Image-Edit 官方博客2025-08-19https://qwenlm.github.io/blog/qwen-image-edit/ GitHub 仓库公告于 8 月 18 日上线https://github.com/QwenLM/Qwen-ImageQwen-Image Technical ReportMMDiT 母架构 Figure 6arXiv:2508.02324Wan 2.1 官方架构与 Wan-VAE 技术介绍https://wan.video/blog/wan2.1Ditto / Ditto-1M 数据集与 Editto训练数据来源、构建流程与增强配方https://github.com/adobe-research/dittoComfyUI 节点使用文档https://comfyui-wiki.com/en/models/qwen-video-edit/qwen-video-edit