大家读完觉得有帮助记得关注和点赞图1说明StateFlow将创意提示转化为完整、可编辑的3D世界。创作者可以从参考图像构建场景、扩展环境、更改视觉风格、控制物体运动、编排动态事件并通过高层意图指导电影级摄像机。同一个持久世界可以复用于电影视频创作、可控镜头规划和类似游戏的可交互原型制作。摘要预可视化是电影、游戏、建筑和城市设计中创意与制作之间的中间层。它让创作者能够迭代地细化场景、动作、摄像机和时空动态。然而现有的生成方法依赖简单提示通过一次性图像或视频合成来联合控制所有这些因素可控性弱且对迭代编辑的支持有限。从根本上说一个世界由多个具有几何、外观和其他属性的元素以及摄像机组成。不同的帧是通过对这个共享状态进行局部修改或重组而产生的而该状态在其他方面被大量复用。因此我们认为缺失的组件是一个显式且持久的工作状态。为解决这一问题我们提出了StateFlow一个以状态为中心的生成式预可视化框架。StateFlow不是一次性生成视频而是使用一个可编辑的3D世界来组织场景结构、演化和摄像机同时在需要更高保真度时利用现成的视频模型增强视觉质量。该世界被维护为一个持久的、结构化的3D状态包含场景元素和摄像机配置作为预可视化的核心工作表示。基于这一思想StateFlow包含三个阶段来构建、演化和访问世界状态。状态构建通过先验引导的、冲突感知的双视图初始化将生成的2D内容提升为连贯的3D世界状态演化将用户意图转化为结构化的状态转换同时保留世界记忆避免每次编辑都重新生成整个场景状态访问使用渲染反馈反射将摄像机计划细化为视觉上可行的轨迹避免仅依赖VLM语义。实验表明StateFlow能够生成高质量的3D世界用于视频创作和类游戏原型制作。1. 引言预可视化是电影制作、游戏开发以及建筑或城市设计中的一个基础步骤创作者在最终制作之前规划场景、编排动作、测试摄像机并探索时空动态[1, 5, 12]。与最终内容生成不同预可视化优先考虑传达创意意图和实现快速迭代而非产出精美的视觉输出。创作者反复细化场景布局、物体放置、运动和视点以探索不同的设计选择和叙事可能性[24]。在实践中构建预可视化内容仍然耗时且需要专业知识。与此同时现有的生成方法并不适合这种迭代过程。尽管最近的图像和视频生成方法大幅提升了视觉质量[3, 4, 32, 43, 52]但它们主要面向一次性合成一个简单的提示必须同时指定场景内容、布局、运动和摄像机而生成的观测结果不暴露任何持久状态以供局部编辑和验证。因此当内容被修改、扩展或从不同摄像机观察时它们往往表现出时空不一致、身份漂移和不稳定的局部细节。从根本上说一个预可视化世界由多个场景元素组成这些元素具有几何、空间位姿、语义和外观属性以及动态状态同时还包括摄像机配置。不同的镜头在很大程度上复用这些信息仅修改或重组共享状态的一个子集。这表明预可视化应该通过一个显式且持久的工作状态来建模而不是一系列孤立的视觉输出。显式的3D状态对于预可视化至关重要共享坐标系保留了物体身份和空间关系支持对放置和运动的局部编辑并为跨视点和时间的摄像机规划提供几何约束。现有方法已经能够将检索或生成的资产组装成连贯的多物体3D场景[6, 8, 35, 44, 51]。然而它们通常将场景构建视为终点产出一个基本静态的世界而没有联合建模其后续演化或重复的、受摄像机控制的访问。对于预可视化而言初始场景只是一个起点同一个世界在其变化和被不同摄像机观察时必须保持可编辑。基于这一表述我们提出了StateFlow一个以状态为中心的生成式预可视化框架。StateFlow不是一次性生成视频而是使用一个可编辑的3D世界来组织场景结构、演化和摄像机。每个世界由一个可编辑的结构化3D状态表示包含场景元素、几何、空间位姿和语义状态StateFlow从用户意图构建和更新该状态而可控的摄像机轨迹为场景检查和下游预可视化提供访问。当需要更高视觉保真度时现成的视频模型[33]将几何基础的观测增强为富有表现力的视频而不会改变底层世界。如图1所示我们的框架解决了预可视化中的三个核心问题如何通过状态构建初始化结构化3D世界状态如何通过状态演化根据真实物理世界和用户意图演化世界状态以及如何通过状态访问将其用于下游任务。在状态构建中StateFlow首先使用图像模型生成互补的视觉参考将用户的自然语言意图转化为初始3D场景。由于单一视图无法可靠地同时捕获物体细节和全局布局我们引入了先验引导的冲突感知双视图初始化将前视图语义基础与BEV空间基础相结合。该框架检测并解决跨视图在物体数量和空间假设上的冲突产生合理的3D放置。在状态演化中StateFlow引入了意图引导的结构化状态转换将用户意图转化为对结构化状态表的紧凑更新而不是持续模拟动态或重新生成视频。它支持场景扩展、局部风格变化、物体位姿和运动编辑以及针对爆炸等事件的离散资产替换。这使得世界演化保持可编辑、具备记忆能力并可在后续访问中复用。在状态访问中StateFlow引入了带渲染反馈反射的世界状态摄像机规划这是一种双系统设计将基于VLM的摄像机提议与渲染反馈验证相结合。VLM根据导演意图和镜头风格提议轨迹而忠实几何的渲染暴露可见性、遮挡、取景和运动问题引导局部修复。这产生了视觉上可靠的轨迹而无需训练摄像机策略。总体而言我们的表述将预可视化从生成孤立的视觉输出转变为构建可编辑、可演化且可交互的3D世界。基于同一个持久3D世界我们的框架自然支持两个代表性的下游预可视化应用视频创作包括故事板、镜头规划和视频制作以及用于交互式内容设计的3D游戏原型制作。跨多种任务和应用场景的大量实验表明我们的框架构建的3D世界可作为下游应用的有效表示展现出强大的灵活性、可控性和可扩展性。总之我们的主要贡献如下我们提出了一种新的生成式预可视化表述将其作为持久3D世界状态建模将目标从一次性视觉合成转变为构建可编辑、可演化且可复用的3D世界。我们提出了StateFlow一个统一的状态中心框架通过先验引导的初始化、意图引导的状态转换和渲染反馈摄像机规划来构建、演化和访问3D世界状态。实验表明我们的方法产生了高质量且细粒度的结果同时自然支持两个代表性的预可视化应用用于故事板、镜头规划和视频制作的视频创作以及用于交互式内容设计的3D游戏原型制作。2. 相关工作2.1 预可视化预可视化在电影、游戏和设计领域被广泛探索作为在全面制作之前验证场景布局、摄像机运动、舞台调度和协作的中间过程。早期研究强调使用游戏引擎和实时3D工具在电影和游戏管线中进行镜头规划和初步场景原型制作[26, 27]。后来的工作将预可视化扩展到沉浸式和协作环境包括虚拟现实、有形界面和基于视频的快速构思[1, 7, 19]。除电影制作之外HCI和建筑设计领域的相关研究将预可视化视为一种更广泛的方法用于设计未来、沉浸式审查和利益相关者沟通[18, 58]。2.2 3D场景生成最近的3D、4D和基于视频的生成方法从图像、文本或视频中创建详细的物体、动态内容和可导航场景[21–23, 31, 37–41, 48, 49, 53, 56, 57, 60, 61]。然而它们主要生成单个资产、短动态序列或视频/世界重建没有维持可编辑多物体世界所需的持久空间关系、语义、运动和摄像机访问。StateFlow将视频视为这种显式世界状态的观测结果。现有的3D场景生成方法主要遵循三个方向。程序化方法使用手工设计的规则或资产放置管线创建大型环境[29, 30]但其多样性和真实感受到预定义规则和资产的限制。基于LLM和VLM的方法从精选库中推断物体布局并实例化检索到的资产[8, 11, 36, 50, 51, 62]虽然可控但它们往往受限于资产数据库的覆盖范围和风格。最近的3D生成方法更灵活地合成场景元素或完整场景[6, 17, 23, 35, 41, 44, 54, 55]但准确的放置、全局一致性和高细节场景质量仍然具有挑战性尤其是在有限的3D场景数据和领域覆盖下。相比之下我们的方法将生成内容组织为显式的可编辑3D世界状态旨在支持跨多样风格的开放式预可视化而不依赖固定的场景数据集或资产领域。2.3 智能体视频生成最近的视频生成骨干网络包括Stable Video Diffusion (SVD)[2]、CogVideoX[52]、HunyuanVideo[20]、Seedance[33]和Wan[43]为从文本或图像生成短视频片段提供了越来越强大的基础能力。在这些模型之上MovieAgent[46]、AniMaker[34]和AniME[59]使用分层规划、候选片段选择和以导演为中心的协调来生成更长的、故事驱动的视频VideoClaw[14]、Toonflow[13]和ViMax[15]进一步暴露可编辑的制作阶段并在多个场景之间协调资产、镜头和一致性。与以脚本、故事板或依赖关系为中心的系统不同StateFlow维护物体、关系、运动和摄像机的统一3D状态使用渲染视频作为状态和摄像机细化的反馈。3. 方法我们提出StateFlow一个以状态为中心的预可视化框架。其核心思想是将预可视化视为维护一个持久的世界状态而不是一次性输出生成该状态可以在不同控制下被构建、演化和访问。下面我们首先将该过程表述为持久3D世界状态建模然后描述StateFlow如何用面向对象的结构化3D状态来实例化它。3.1 预可视化表述手动预可视化和生成式预可视化都追求相同的过程创作者首先建立一个场景然后修改其演化方式最后通过摄像机或交互进行检查。区别在于手动工作流自然维护一个显式的工作状态而当前的生成方法往往将该状态处理为孤立的图像或视频。从这个角度看预可视化可以概括为一个基于状态的过程。给定输入条件C系统首先构建一个初始世界状态然后随时间更新该状态最后在可控访问下产生观测其中W_t表示时刻t的世界状态y_t是生成的观测。该表述将生成式视觉模型中经常纠缠在一起的三个角色分离开来世界状态W_t、其演化F_evolve以及渲染或交互观测y_t。在预可视化中这种分离至关重要因为创作者反复修改同一个世界并从不同视点进行检查而不是消费单次生成的输出。3.2 总体流程StateFlow将W_t实例化为面向对象的结构化3D状态。我们使用对象级状态因为预可视化需要推理存在哪些实体、它们在哪里、外观如何以及如何变化。在时刻t世界表示为其中o_t^i表示时刻t世界状态中的第i个对象实体由其几何、空间放置和语义属性表示。这是适用于我们场景的最小完备状态g_t^i提供用于渲染和物理推理的几何p_t^i定义对象的3D位置和姿态以形成空间布局s_t^i存储语义和可编辑属性如类别、外观和状态描述符。移除其中任何一项将分别失去视觉实现、空间一致性或可控语义演化。基于该表示StateFlow包含三个阶段状态构建从输入条件初始化W₀状态演化随时间更新世界状态访问在摄像机和用户控制下渲染或交互W_t。总体流程如图2所示。这种统一的状态表示使得在同一个3D世界内自动生成、局部修改、时间演化和重复观测成为可能。图2StateFlow 将创意意图转化为一个持久的 3D 世界该世界可以被构建、演化并用于下游创作。3.3 状态构建给定输入条件C场景构建阶段通过估计物体几何和全局空间布局来初始化第一个世界状态W₀。现有的生成管线通常依赖单一视图进行场景构建这要么保留了外观但缺乏可靠的布局要么提供了布局但缺乏足够的物体外观和垂直结构。为了结合这些互补线索我们首先生成用于物体资产的前视图图像和用于空间布局的BEV图像。由于两个视图是独立生成的它们不可避免地引入跨视图冲突。因此我们使用由VLM实例化的语义-物理知识先验来调和这些冲突得到一个统一的过程即先验引导的冲突感知双视图初始化。从生成的前视图和BEV中我们分别检测物体实例和2D布局框。由于两个视图独立生成它们可能在物体数量、空间放置和外观细节上不一致。我们通过分解线索来解决这些冲突。因此我们为两个视图分配不对称的角色。前视图被视为外观和资产来源提供物体身份、局部视觉细节和几何参考。BEV被视为空间来源提供地面平面放置、场景拓扑和粗略空间支撑。当两个视图检测到的物体数量不一致时我们处理三种情况。对于匹配的物体我们实例化前视图资产并根据相应的BEV布局框放置。对于仅在BEV中出现的物体我们使用提示、邻近物体和当前布局上下文查询VLM。与提示不一致或物理上不受场景支撑的物体被视为幻觉被移除或降权而合理的上下文元素被保留。对于仅在前视图中出现的物体我们将它们保留为语义锚点并使用VLM从提示、物体类别和附近匹配物体推断试探性布局假设。这些假设随后与其他框一起在联合优化中细化。为了将BEV布局提升到3D放置VLM为每个保留的物体预测一个接地先验γ_i ∈ {grounded, floating}。给定BEV框r̂_i^BEV和资产或类别尺寸先验s̄_i我们通过一个接地感知的提升算子初始化3D框对于接地物体垂直中心根据物体高度放置对于漂浮物体高度从VLM或类别先验推断。这将语义接地线索转换为物理合理的3D放置而无需训练3D检测器。最后我们使用轻量级的推理时目标函数细化保留的框其中L_front保留来自前视图的物体身份和外观线索L_bev保留来自BEV的全局布局线索L_vlm强制语义存在和接地先验L_phys惩罚明显的物理违规如碰撞或无效场景边界。优化仅更新框参数而不是模型权重。这使得构建保持轻量、免训练且模型无关同时避免了通常需要昂贵3D标注的领域特定3D框检测器这些检测器在应用于开放式生成场景时可能出现分布外失败。框细化后每个优化后的3D框用作空间位姿项p_i^0。同时相应的物体从前视图图像中裁剪出来并由图像到3D模型独立处理以获得其几何g_i^0。结合从输入和知识先验推断的语义属性s_i^0这些项形成初始世界状态得到的W₀是一个可编辑、空间结构化且物理合理的初始化用于后续的状态演化和世界交互。3.4 状态演化给定初始化的世界状态W_t状态演化阶段根据用户意图将其更新为W_{t1}。我们不是让视频渲染器隐式地幻想每个动态过程而是引入意图引导的结构化状态转换其中VLM查询结构化状态表并预测一个紧凑的转换计划指定要更新的物体或场景属性、转换类型以及目标状态。在场景层面转换计划支持全局演化如场景扩展和场景风格变化。对于场景扩展系统复用状态构建过程来实例化新区域或物体然后将它们合并到现有世界状态中同时保留原始空间支撑和物体身份。场景风格变化通过重写场景或物体描述符来处理允许在不重新生成整个世界的情况下对风格和材质属性进行局部且一致的控制。在物体层面计划对物体状态o_t^i (g_t^i, p_t^i, s_t^i)执行类别感知的更新。角色演化主要通过姿态或轨迹更新来表示在表达行为状态的同时保留身份。刚体运动更新位置和姿态项p_t^i以表示移动。对于难以连续模拟的事件如爆炸、破坏或大型非刚性变形我们使用事件级资产替换几何项g_t^i被替换为生成或检索的目标状态资产同时保留物体的身份、语义角色和粗略放置。外观或状态变化通过更新语义状态项s_t^i来处理。形式上VLM从当前状态和意图生成一个转换计划Δ_t通过将其应用于结构化状态表得到下一状态每个更新后的物体仍表示为o_i^{t1} (g_i^{t1}, p_i^{t1}, s_i^{t1})。根据转换类型更新可能联合或选择性地影响几何项g_t^i、位置和姿态项p_t^i以及语义状态项s_t^i。由于演化选择性地更新持久对象记录得到的W_{t1}保持为结构化和可编辑的3D世界状态可以进一步随时间演化或被下游摄像机轨迹访问。3.5 状态访问给定动态世界状态W_t状态访问阶段决定如何将构建的世界用于下游任务。虽然世界状态可以通过编辑命令、物理模拟或用户控制来访问但摄像机轨迹为预可视化提供了一个通用接口它们将同一个持久世界转换为类似电影的键帧、可探索的视频和类似游戏的视点而无需修改世界本身。然而之前的纯文本摄像机生成[25]主要依赖语言意图缺乏来自实际场景的几何反馈。为解决这一问题我们将VLM的语义推理与渲染观测的几何证据相结合提出带渲染反馈反射的世界状态摄像机规划。我们首先从W_t中读取与摄像机相关的信息包括物体身份、物体姿态、边界框、集合层级、重要物体和粗略场景范围。规范渲染视图提供额外的视觉上下文。用户指令被总结为片段级导演意图d_i在高层面指定所需目标、镜头风格和运动。对于每个片段VLM充当语义提议者而非最终控制器。它根据世界状态、渲染场景观测V和导演意图生成初始轨迹然后我们在3D世界中通过低成本渲染执行该提议并评估渲染结果其中e_i^k总结了意图不匹配、目标不可见、取景不佳、碰撞风险和运动伪影等差异。反射将这些差异转化为对摄像机参数的局部修复候选。例如可见性或取景问题可以通过调整摄像机距离、注视目标或视场来修复遮挡和碰撞问题可以通过改变视点高度、方位角或沿无碰撞方向移动来修复。令Δ_m表示应用于当前轨迹的第m个局部修复操作。这些修复在π_i^k周围生成一个紧凑的候选集而不是进行全局搜索我们从中选择最佳轨迹评分J倾向于选择满足意图对齐、目标可见性、取景质量、碰撞避免和运动平滑性的更好轨迹。这种局部提议-验证循环高效因为它仅针对问题驱动的修复进行搜索并迭代直到没有检测到显著问题或达到最大轮次。由于仅更新摄像机参数规划器保持免训练且不需要摄像机轨迹标注。最终轨迹π_i*为键帧生成、自由视角探索和第三人称视角提供状态访问同时保持扎根于同一个持久3D世界状态。4. 实验4.1 实现细节我们的系统以用户提供的单个文本提示作为输入自动完成从3D世界构建到下游应用导出的完整工作流程。我们使用Gemini 3.1 [9]作为视觉语言模型用于场景理解、意图解析、布局推理、状态转换规划和摄像机反馈反射。对于图像生成我们使用Nano Banana 2 [10]合成状态构建中使用的前视图和鸟瞰视图参考。对象中心的图像裁剪使用最新的Hunyuan3D模型[42]提升为3D资产。对于基于视频的下游输出我们使用Seedance2 [33]作为视频生成骨干。表2. 与场景生成的定量比较。​ 我们报告了 CLIP-I、CLIP-T、HPS V2 和 Q-Align 指标。数值越高表示性能越好。方法CLIP-I ↑CLIP-T ↑HPS V2 ↑Q-Align 质量/美学 ↑PartCrafter0.54220.7610.1101.675 / 1.587SAM3D0.58015.4810.0552.262 / 2.137SynCity0.68922.8800.1753.535 / 2.966Ours我们的​0.788​30.214​0.151​3.621 / 2.8594.2 场景生成对比我们将StateFlow与代表不同范式的3D生成基线进行比较。SynCity [6]以免训练、逐块的方式生成文本条件的3D世界SAM3D [41]代表前馈图像到3D生成PartCrafter [23]代表部件感知的3D物体生成。由于我们的开放推理示例没有真实的3D场景我们将每个生成结果从45°鸟瞰摄像机渲染为视频并计算CLIP-I和CLIP-T [28]、人类偏好分数HPS[47]和Q-Align分数[45]来衡量视觉和文本对齐。如表2所示结果表明我们的方法整体上实现了更优的性能在CLIP-I和CLIP-T上优势尤为明显。我们注意到HPS和Q-Align往往对色彩鲜艳度和视觉风格有强烈偏好这可能导致SynCity获得相对较高的分数。我们还在图3中提供了定性比较以检查生成输出是否提供预可视化所需的连贯空间布局和可编辑场景结构。视觉结果表明StateFlow比对比基线生成了更连贯、更细粒度的3D世界。特别是我们的方法更好地保留了全局空间组织同时保持了物体级细节使得场景更适合下游预可视化。相比之下基线方法往往存在场景构建不完整、物体关系薄弱或可编辑结构有限的问题。图3. 场景生成的定性比较4.3 视频创作对比我们将StateFlow与视频生成方法进行比较如Animaker [34]、MovieAgent [46]、Wan2.2 [43]和Seedance2.0 [33]。这些方法涵盖大规模文本到视频生成、叙事驱动的动画合成和智能体多镜头视频生成提供了与近期视频范式的广泛对比。表1报告了使用VBench [16]与代表性视频生成方法的定量比较。我们的方法在所有比较方法中取得了最佳平均分表明其在视频生成质量上的整体优势。特别是我们的方法在主体一致性、背景一致性、运动平滑度和闪烁方面获得了最高分表明生成的视频更好地保留了主要物体、维持了稳定的场景内容并表现出更平滑的时间动态。尽管一些基线在美学或成像质量上得分略高但这些指标对色彩鲜艳度和对比度等低级视觉偏好更敏感。相比之下我们的方法在与结构和时间性相关的维度上表现更强这些维度对可控场景生成和预可视化更为关键。表1. 在VBench上与视频生成方法的定量比较。所有指标均为数值越高表示性能越好。方法主体一致性↑背景一致性↑美学质量↑成像质量↑运动平滑度↑闪烁程度↑平均值↑Animaker0.75090.83430.67950.66840.95820.96410.8092MovieAgent0.75330.85570.53480.72600.98950.98580.8075Wan2.20.88360.94220.52200.69110.98520.97310.8283Seedance2.00.81100.93290.63110.71840.98280.95650.8387我们的​0.9135​0.9506​0.5257​0.7185​0.9923​0.9902​0.8484除了这些定量结果图4展示了与这些视频生成方法的视觉对比。StateFlow产生的输出具有更稳定的场景结构和更清晰的空间基础尤其是在摄像机移动或场景从变化视点观察时。生成的视频更可靠地保留了主要物体和环境布局同时避免了严重的时间漂移或背景不一致。图4. 预可视化应用的定性比较。​ 案例1和案例3展示了视频创作而案例2展示了3D游戏原型制作。视频生成基线方法始终存在时空不一致、身份漂移和受限的相机运动等问题而StateFlow在一个持久且可交互的3D世界中运行产生精确、高度可控且几何-外观一致的结果。4.4 基于MLLM的评估与用户研究我们进一步进行了基于MLLM的评估和用户研究以评估感知质量和实际有用性结果汇总于表3。评估涵盖两种设置场景级研究每种方法的输出渲染为45°鸟瞰环绕视频和视频级研究评估最终渲染视频。对于每个提示所有方法的结果并排显示匿名且顺序随机。参与者使用5点李克特量表对每种方法评分1表示非常差5表示优秀。我们还说明5分并不要求完美允许多种方法在合适时获得高分。我们招募了N30名参与者每种设置12个提示插入注意力检查项并报告每个维度的平均分。此外我们使用gemini-3.1作为MLLM评估以提供补充的自动评估。在场景级StateFlow在所有评估维度上取得了最佳性能包括提示对齐、布局合理性、完整性、几何质量、连贯性、预可视化有用性和整体质量。这些结果表明所提出的世界状态构建比现有基线产生了更完整、空间上更合理且更连贯的3D场景。在视频级StateFlow在用户研究和基于MLLM的评估中再次取得了最高总分。与视频生成基线相比我们的方法在空间一致性、身份一致性、摄像机质量和预可视化有用性方面显示出明显优势。这表明显式构建和访问持久3D世界能更好地跨时间和视点保持物体身份和场景布局同时支持更可控的摄像机轨迹。尽管一些视频基线在提示/故事对齐上具有竞争力但它们往往表现出较弱的空间一致性和较不可靠的摄像机行为。相比之下StateFlow产生了更连贯且面向制作的结果更适合预可视化工作流。4.5 消融研究我们进一步使用相同的基于MLLM的评估和用户研究协议来验证StateFlow的关键设计选择因为这些组件主要影响结构连贯性、可编辑性和摄像机可控性而这些难以用指标捕捉。结果与基线一起报告在表3中。表3. 3D场景生成上和视频生成下的用户研究与基于MLLM的评估。每个单元格的报告格式为用户研究 / MLLM评估。用户研究N30名参与者每个设置12个提示。粗体表示最佳性能。场景级研究45°俯视环绕飞行视频方法提示对齐↑布局合理性↑完整性↑几何质量↑连贯性↑预可视化实用性↑总体得分↑SynCity3.5/2.82.8/2.83.1/2.63.9/2.82.9/4.42.7/2.63.2/3.0SAM3D3.9/2.43.1/2.63.7/2.23.9/2.23.2/4.63.1/1.23.5/2.5PartCrafter2.4/2.01.9/2.01.9/2.02.2/2.02.0/3.21.8/1.02.0/2.0无BEV布局我们的3.6/3.03.0/2.63.4/2.03.7/2.43.0/3.63.1/1.23.3/2.5无冲突解决我们的3.7/3.03.2/2.63.2/2.03.8/2.63.1/3.63.2/1.63.4/2.6StateFlow我们的​4.4/3.6​4.6/3.3​4.2/3.7​4.2/3.6​4.6/4.7​4.7/3.1​4.5/3.7​视频级研究最终渲染视频方法提示/故事对齐↑空间一致性↑身份一致性↑运动合理性↑相机质量↑预可视化实用性↑总体得分↑Seedance24.1/3.43.3/1.53.2/1.33.9/2.63.5/1.43.7/2.33.6/2.1Wan2.23.5/3.62.8/2.42.7/2.23.4/2.73.0/1.63.1/1.53.1/2.3AniMaker2.8/1.62.3/1.22.2/1.52.8/2.42.5/2.32.4/1.42.5/1.7MovieAgent1.9/1.31.6/1.11.5/1.21.9/2.21.6/1.41.5/1.31.7/1.4仅VLM相机我们的4.3/3.54.6/3.44.6/3.74.1/3.23.4/2.63.8/3.54.1/3.3StateFlow我们的​4.4/3.8​4.7/4.3​4.7/3.9​4.2/3.6​4.6/4.4​4.6/4.2​4.5/4.0​状态构建。我们在场景级研究中评估两个构建消融。w/o BEV Layout移除自上而下的空间基础主要依赖外观中心线索这往往导致较弱的全局布局、不正确的物体尺度和较不连贯的物体关系。w/o Conflict Res.直接结合前视图和BEV线索而不解决物体数量和空间不匹配导致物体缺失、重复或放置不合理。这些变体验证了BEV基础和冲突感知协调对于构建连贯3D世界的重要性。状态演化。我们还通过用直接重新生成替换选择性状态更新来消融结构化状态转换。这削弱了编辑中的身份保持和空间一致性因为系统不再更新持久对象记录。这验证了通过显式状态变化演化世界的必要性而不是将每次编辑视为独立的生成任务。状态访问。对于摄像机规划我们与仅VLM的摄像机VLM-only Camera进行比较后者仅从语义意图生成轨迹而不进行渲染反馈反射。由于语义推理无法完全预测具体3D场景中的视觉结果这通常导致可见性、遮挡、取景或碰撞问题。该对比验证了使用渲染反馈细化摄像机轨迹的有效性。5. 结论本文介绍了StateFlow一个以状态为中心的预可视化框架。它不是一次性生成视频而是使用可编辑的3D世界来组织场景结构、演化和摄像机同时现成的视频模型可以在不改变底层世界的情况下增强视觉质量。我们将预可视化表述为围绕这个持久结构化3D状态进行该状态由物体几何、空间位姿和语义属性组成。基于该表示StateFlow通过先验引导的双视图构建初始化3D世界通过意图引导的状态转换演化世界并通过渲染反馈摄像机规划访问世界用于下游应用如键帧生成、可探索观测、视频创作和第三人称交互。大量实验表明StateFlow为可控预可视化提供了有效且通用的基础在保持连贯空间布局、稳定场景结构和可编辑物体级组织的同时产生视觉上忠实的结果。除了提升生成质量我们的框架还突显了显式3D世界状态作为生成模型与面向制作的创意工作流之间中间表示的价值。我们相信StateFlow为未来内容创作中更具交互性、结构化和世界感知的生成系统开辟了一个有前景的方向。