1. 为什么“抽卡式”AI短片该被淘汰了做AI短片的人大概都有过这种体验打开一个文生视频工具输入一段精心打磨的提示词点击生成然后开始祈祷。出来的结果要么人物脸崩了要么镜头运动完全不是你要的要么前后两帧风格突变。你只能反复改词、反复抽卡运气好十次里中一次运气不好一整个下午都在跟随机种子较劲。这套工作流的根本问题在于你无法精确控制画面里的空间关系。提示词是一维的文本而视频是四维的三维空间加时间用一维去描述四维信息损耗极大。你说“一个角色从左边走到右边镜头缓慢推近”模型理解的是“左边”“右边”“推近”这些模糊概念它不知道角色具体站在哪个坐标、镜头推近的速率是多少、背景里的物体应该保持怎样的透视关系。ArtCraft这个项目思路不一样。它的核心主张是把3D画布作为AI短片的空间控制层。你在一个真实的3D场景里摆好角色、道具、摄像机设定好运动轨迹然后让AI基于这个3D场景去生成最终画面。提示词退居二线只负责风格和氛围空间结构由3D数据来保证。这解决的是什么问题一句话让AI短片从“抽卡”变成“施工”。你不再赌模型今天心情好不好而是像搭积木一样先把空间关系确定下来AI只负责把它渲染成你想要的视觉风格。适合谁看如果你已经玩过一阵AI绘画或AI视频被随机性折磨得够呛想找一个更可控的路径那这套思路值得你花时间研究。如果你是完全没碰过3D工具的新手也不用慌我会把每个环节拆到你能跟着做的程度。2. 整体设计思路3D画布到底在控制什么2.1 从“文本驱动”到“空间驱动”的范式转换传统AI视频生成的工作流是这样的写提示词 → 模型理解 → 生成视频 → 不满意 → 改提示词 → 再生成。这是一个开环系统你只能通过调整输入来间接影响输出中间没有任何反馈机制。ArtCraft的思路是把它变成一个闭环系统在3D画布中搭建场景 → 设定摄像机和角色运动 → 导出深度图、法线图、姿态图等控制信号 → AI基于这些信号生成画面 → 在3D画布中直接调整 → 重新生成。关键区别在于你调整的不再是抽象的文字而是具体的空间参数。举个例子。你要做一个角色推开门的镜头。在提示词工作流里你得写“一个角色站在门前手放在门把手上门缓缓打开镜头从侧面拍摄”。模型可能给你生成一个角色站在门旁边、手悬在空中、门纹丝不动的画面。但在3D画布工作流里你直接把角色模型放在门前手部骨骼绑定到门把手位置设定门绕铰链旋转的动画曲线摄像机放在侧面45度角。AI拿到的是精确的空间数据它只需要负责把这个人、这扇门、这个角度渲染成你想要的风格。这里的关键认知是AI擅长的是纹理和光照的生成不擅长的是空间关系的推理。把这两件事分开让3D工具管空间让AI管视觉各司其职。2.2 为什么选3D画布而不是2D图层有人可能会问我用2D图层加深度图不行吗也行但3D画布有几个不可替代的优势。第一是透视一致性。在3D场景里你移动摄像机所有物体的透视关系自动更新近大远小、遮挡关系、阴影方向都是物理正确的。2D图层做同样的事你得手动调整每个图层的缩放和位置稍微复杂一点的镜头运动就会露馅。第二是可复用性。你搭好一个3D场景换一个摄像机角度就是新镜头换一套材质就是新风格换一个角色动画就是新情节。2D工作流里每个镜头基本都要从头画。第三是深度信息的天然获取。3D渲染器可以直接输出深度图、法线图、物体ID图这些是AI视频生成模型最喜欢的控制信号。你不需要额外用深度估计模型去猜直接从3D场景里导出就是精确的。2.3 技术栈选型的考量ArtCraft作为一个开源项目在技术选型上做了几个关键取舍。3D引擎层面它选择了轻量级的WebGL方案而不是重型游戏引擎。原因很简单AI短片创作者不需要物理模拟、不需要粒子特效、不需要复杂的光照烘焙。他们需要的是快速搭建场景、快速调整摄像机、快速导出控制图。WebGL方案启动快、依赖少、跨平台在浏览器里就能跑这对创作者来说门槛低得多。AI生成层面它没有绑定某一个特定的视频生成模型而是设计了一套控制信号接口。深度图、法线图、姿态图、边缘图这些信号可以喂给不同的模型。今天用这个模型明天出了更好的模型换上去就行3D场景不用重做。这种解耦设计在AI领域更新换代极快的背景下非常重要。交互层面它把复杂的3D操作简化成了几个核心动作拖拽放置物体、旋转调整角度、关键帧设定运动。没有复杂的材质编辑器没有节点式着色器没有骨骼绑定系统。这些高级功能当然有用但对于AI短片的前期空间控制来说够用就好。3. 核心细节拆解从3D场景到AI画面的完整链路3.1 场景搭建用最少的操作建立空间关系打开ArtCraft的3D画布你看到的是一个带网格地面的透视视图。左侧是资产库里面预置了一些基础几何体立方体、球体、圆柱体和常用道具椅子、桌子、门框。右侧是属性面板显示当前选中物体的位置、旋转、缩放。搭建一个场景的基本流程是这样的放置主体。从资产库拖一个角色模型到画布上放在你希望他站立的位置。角色模型不需要很精细一个低多边形的替身就够了因为最终画面是AI生成的3D模型只提供空间占位和姿态参考。布置环境。拖几个立方体当墙壁拖一个平面当地板拖几个球体当装饰。这些几何体的材质不重要重要的是它们的空间位置和尺寸。AI会根据深度图知道哪里是墙、哪里是地板、哪里是前景物体。设定摄像机。在场景中放置一个摄像机图标调整它的位置和朝向。你可以切换到摄像机视角预览构图确保主体在画面中的位置符合你的预期。打光。虽然AI会重新生成光照但3D场景里的基础光照可以帮助你判断场景的明暗关系。放一个主光源在角色侧前方放一个补光在另一侧这样导出的深度图会有更好的层次感。实操心得场景搭建阶段不要追求细节。我见过太多人花几个小时雕琢3D模型的面部特征结果AI生成的时候根本用不上。3D画布的作用是定义空间关系不是定义视觉细节。把精力花在构图、比例、运动轨迹上这些才是AI无法替你决定的东西。3.2 运动设定关键帧与曲线编辑静态场景搭好后下一步是让画面动起来。ArtCraft的运动系统基于关键帧你在时间轴上设定几个关键时刻的物体状态系统自动插值出中间过程。以“角色从画面左侧走到右侧”为例在第0帧把角色放在左侧位置记录一个位置关键帧。在第60帧假设30帧每秒即2秒处把角色拖到右侧位置记录另一个位置关键帧。系统自动生成一条从左侧到右侧的直线运动路径。但直线运动看起来很机械。你可以进入曲线编辑器把位置曲线从线性改成缓入缓出角色就会先加速后减速看起来更自然。同样的方法可以控制摄像机的运动推近、拉远、横移、环绕都可以通过关键帧加曲线来实现。这里有一个容易被忽略但极其重要的细节运动模糊。真实拍摄的视频里快速运动的物体会产生运动模糊。AI视频生成模型如果没收到运动模糊的提示生成的画面可能会显得“太清晰”反而像定格动画。ArtCraft在导出控制信号时会根据物体的运动速度在深度图上叠加一层方向性的模糊告诉AI“这里在快速运动”。3.3 控制信号导出AI到底需要什么3D场景搭建完成后ArtCraft会导出一组控制信号。这些信号是AI视频生成模型的“施工图纸”。具体包括信号类型包含信息作用深度图每个像素到摄像机的距离告诉AI物体的前后关系法线图每个像素的表面朝向告诉AI物体的立体形状姿态图角色骨骼的关键点位置告诉AI角色的动作姿势边缘图物体的轮廓线告诉AI物体的边界位置运动矢量图每个像素的运动方向和速度告诉AI画面的运动趋势这些信号不是全部都要用。根据你使用的AI模型不同可以选择性地导出。比如有些模型只需要深度图和姿态图有些模型对边缘图更敏感。ArtCraft的导出面板里可以勾选需要的信号类型。注意导出分辨率要和最终视频分辨率匹配。如果你打算生成1080p的视频控制信号也要导出1080p。分辨率不匹配会导致AI在生成时进行缩放损失精度。3.4 提示词的新角色只管风格不管空间在ArtCraft的工作流里提示词依然有用但它的职责变了。以前你要用提示词描述空间关系“左边有什么右边有什么镜头怎么动”现在这些由3D场景负责。提示词只需要描述视觉风格和氛围。比如“赛博朋克风格霓虹灯光雨夜高对比度电影感色调”。这些描述不涉及具体空间位置AI可以自由发挥纹理和光照而空间结构已经被3D场景锁死了。这种分工的好处是提示词可以写得更短、更抽象。你不需要再写“一个角色站在左边手放在门把手上门是红色的背景有窗户”这种冗长的空间描述。你只需要写“温暖的手绘风格柔和的自然光”剩下的交给3D场景。4. 实操过程从零做一条10秒短片4.1 前期准备资产与参考在开始搭建之前你需要准备几样东西。角色替身模型。不需要精细模型一个简单的火柴人或者低多边形人形就够了。ArtCraft的资产库里自带几个基础人形你也可以从外部导入OBJ或GLB格式的模型。关键是模型要有骨骼绑定这样你才能摆姿势。场景参考图。找一张你想要的最终画面风格的参考图放在画布旁边作为对照。这张图不参与生成只是帮你保持视觉方向的一致性。分镜草图。用纸笔或者简单的绘图工具画几个关键帧的构图。不需要画得多好火柴人加方框就行。目的是在搭建3D场景之前先想清楚每个镜头的构图和运动。4.2 搭建第一个镜头建立空间框架假设我们要做一个“角色在房间里走向窗户”的镜头。第一步拖一个平面作为地板尺寸设为10米乘10米。再拖两个立方体作为墙壁一个放在后方一个放在左侧。墙壁高度设为3米厚度0.2米。第二步拖一个窗户模型资产库里有嵌在后墙上离地1米高尺寸1.5米宽、1.2米高。第三步拖一个人形角色放在房间中央偏左的位置面朝窗户。第四步放置摄像机。把摄像机放在角色后方偏右的位置高度1.6米模拟人眼高度朝向窗户方向。切换到摄像机视角调整焦距让角色在画面中占大约三分之一的高度窗户在画面右上方。第五步设定运动。在第0帧记录角色位置和摄像机位置。在第90帧3秒处把角色向前移动2米摄像机向前移动1.5米并稍微向右平移。给角色加一个走路动画资产库里的人形自带走路循环给摄像机运动加缓入缓出曲线。4.3 导出与生成参数设置与迭代场景搭建完成后点击导出按钮。在导出面板里分辨率设为1920×1080帧率设为30fps导出时长设为3秒90帧勾选深度图、姿态图、边缘图运动矢量图根据使用的AI模型决定是否勾选导出完成后你会得到一个包含90张深度图、90张姿态图、90张边缘图的文件夹。把这些图片和提示词一起喂给AI视频生成模型。提示词这样写“温馨的室内场景午后阳光从窗户照入手绘动画风格柔和的色彩吉卜力风格”。生成结果出来后大概率不会一次完美。可能角色的走路姿势有点怪可能窗户的光照方向不对可能画面边缘有扭曲。这时候回到3D画布调整对应的参数改走路动画的速度曲线改窗户的位置或大小改摄像机的焦距。然后重新导出、重新生成。实操心得迭代时一次只改一个变量。如果你同时改了角色位置、摄像机角度和提示词生成结果变好了你也不知道是哪个改动起了作用。我通常的节奏是第一轮调空间关系第二轮调运动曲线第三轮调提示词风格第四轮调生成参数。每一轮只动一个维度。4.4 多镜头拼接与转场处理一条完整的短片通常有多个镜头。ArtCraft支持在一个项目里创建多个场景每个场景对应一个镜头。你可以分别搭建、分别导出、分别生成最后在剪辑软件里拼接。转场处理有两个思路。硬切最简单两个镜头直接拼接适合节奏快的段落。运动匹配更高级让前一个镜头的结束运动和后一个镜头的开始运动在方向上一致观众的眼睛会自然跟随。比如前一个镜头摄像机向右横移结束后一个镜头从右侧开始向左横移中间加一个快速的模糊过渡。ArtCraft在导出时可以为每个镜头生成一个转场参考帧显示前后镜头的空间关系。你可以根据这个参考帧来决定转场方式。5. 常见问题与排查技巧实录5.1 生成画面与3D场景对不上这是最常见的问题。你明明在3D场景里把角色放在了左边生成出来却在右边。原因通常有三个。深度图导出设置错误。检查导出面板里的“深度范围”参数。如果范围设得太小远处的物体可能被截断设得太大近处的深度差异会被压缩。建议把深度范围设为摄像机到最远物体的距离再加20%余量。AI模型的控制强度不够。有些模型对控制信号的响应比较弱你需要调高控制权重参数。在ArtCraft的生成设置里把“深度控制强度”从默认的0.5调到0.8或0.9试试。坐标系不匹配。3D软件通常用Y轴向上而有些AI模型用Z轴向上。ArtCraft在导出时会自动转换坐标系但如果你用的是外部导入的模型可能需要手动检查一下。5.2 角色动作僵硬或扭曲AI生成的角色动作不自然通常是因为姿态图的信息不够或者有歧义。检查骨骼绑定。如果角色模型的骨骼没有正确绑定导出的姿态图就是错的。在ArtCraft里切换到姿态图预览模式看看骨骼点是否落在角色的关节位置上。增加中间帧。如果关键帧之间间隔太大AI需要自己脑补中间动作容易出错。把关键帧密度提高到每15帧一个给AI更密集的引导。简化动作。AI视频模型对复杂动作的处理能力有限。一个转身加挥手加走路的组合动作不如拆成三个镜头分别做。5.3 画面闪烁或抖动生成的视频里物体边缘闪烁、颜色跳变这是时间一致性问题。增加运动矢量图。运动矢量图告诉AI每个像素在下一帧应该往哪里移动能显著减少闪烁。在导出面板里勾选“运动矢量”选项。降低生成模型的随机性。如果模型有“随机种子”或“变化程度”参数把它调低。让模型在相邻帧之间保持更一致的输出。后期稳定。如果生成结果已经出来了可以在剪辑软件里加一个稳定器效果能缓解轻微的抖动。但这是治标不治本根本解法还是在控制信号上。5.4 常见问题速查表问题现象可能原因排查步骤解决方案物体位置偏移深度范围设置不当检查深度图预览调整深度范围参数角色动作僵硬关键帧间隔太大查看姿态图序列增加关键帧密度画面闪烁缺少运动矢量检查导出选项勾选运动矢量图风格不统一提示词太模糊对比各镜头提示词统一风格描述词生成速度慢分辨率过高查看导出分辨率先低分辨率测试边缘扭曲控制强度过高检查控制权重适当降低控制强度最后分享一个我踩过多次坑才总结出来的技巧在3D场景里放一个参考球体。这个球体不参与最终画面但它的位置和大小在深度图里会形成一个明确的参照。当AI生成结果出现空间混乱时你可以通过参考球体的位置来判断是深度图的问题还是模型的问题。如果参考球体在生成画面里位置正确说明深度图没问题问题出在模型对控制信号的解读上如果参考球体也偏了那就是导出环节出了问题。这个小小的调试工具帮我省下了大量排查时间。这个项目后续还可以这样扩展把3D场景导出为USD格式接入更专业的渲染管线或者把控制信号做成实时流边调整3D场景边看AI生成预览。但那是另一个话题了先把基础工作流跑通比什么都重要。