最近走到哪都能听到世界模型这个词做自动驾驶的在讲做具身智能的在讲连游戏行业的朋友也动不动提一嘴。但越是热门的话题一个基础问题反而越少被人正面回答你做的那个世界模型内部到底是怎么分工的我过去几年一直在做自动驾驶感知决策系统后来又把同一套思路迁移到机器人项目里最终沉淀下来的拆法很简单——把世界模型拆成三个功能角色渲染器、模拟器、规划器。渲染器负责描述“现在”模拟器负责推演“如果”规划器负责决定“怎么办”而真正让世界模型成立起来的是连接它们的那条闭环。这篇文章就把这三个角色以及它们的闭环关系掰开揉碎讲清楚希望对正在搭世界模型框架的算法工程师、做仿真向真机迁移的落地团队以及想搞明白世界模型到底是什么的初学者都能有帮助。1. 先把世界模型这件事拆开渲染器、模拟器、规划器各干什么先别管那些玄乎的定义我们只从功能上看。任何一个能被称为“世界模型”的系统无论用在车上、机器人上还是游戏AI里都得回答三类问题世界现在长什么样接下来可能会发生什么我该怎么做这三类问题正好对应三个功能角色。1.1 渲染器让模型不只猜位置还要猜世界长什么样渲染器这个名字容易让人误会以为它是个画图工具。实际上它做的是把模型内部的抽象表征映射回“人可感知、可验证”的观测空间。比如在自动驾驶场景里输入是多路相机画面渲染器的输出可以是未来几帧的占用栅格、深度图、语义分割图也可以是动态物体的关键点运动轨迹。这些输出不是用来好看的它们是模型内部世界状态的“投影”。我见过很多团队把渲染器当成超分辨率生成器来训出来的画面确实漂亮但下游决策该出错还是出错。问题就出在目标选错了渲染器要的是“画得正确”不是“画得好看”。如果模型内部以为前方有一辆卡车但渲染出来那个位置是空的说明内部表征和真实世界对不上这个偏差必须能被人和系统检查到。渲染器的价值恰恰在于它把不可直接检查的高维向量变成了可检查的输出让视觉感知、预测、决策三个环节有了共同的“文本”。从工程角度看渲染器还有一个承上启下的作用。它接收感知编码器输出的隐状态输出能被监督信号直接约束的内容。没有渲染器感知模块就只能靠分类和检测这类任务做监督很难感知到空间结构有了渲染器感知模块就能被“如果下一帧长这样你应该渲染出这个画面”这种任务拉着走空间表征的几何一致性会强很多。1.2 模拟器让模型拥有“如果”的推演能力模拟器回答的是“如果……会怎样”的问题。给定当前状态和一组候选动作它输出未来状态的分布。这个能力和渲染器有本质区别渲染器是空间维的映射把隐状态变成画面模拟器是时间维的演化把当前状态变成后续状态。拿自动驾驶举例。前车急刹三秒之后会发生什么如果我是以80公里时速跟车三秒后能不能刹停这就是模拟器要回答的问题。模型内部必须知道“速度差、距离、摩擦系数、反应时间”这几个量是怎么随时间变化的。光会渲染画面不够得让画面“动起来”而且动得符合物理规律和社会常识。这里有个特别重要的点模拟器必须因果正确不能只是统计相关。如果模型只在数据里学到“车多的地方人少”这种相关关系一旦出现车多人也多的情况推演就会完全跑偏。我实际做项目时会刻意构造反事实样本去测试模拟器把某辆车的未来轨迹改掉看其他车的反应是不是也跟着变了。如果模拟器对反事实不敏感说明它只是在做模式匹配不是真的在推演因果这种模拟器接进闭环里迟早出大事。模拟器的输出粒度也有讲究。可以直接输出下一时刻的完整状态也可以输出状态变化的残差可以输出确定性轨迹也可以输出概率分布。工程上我倾向于输出分布哪怕是简化的高斯分布因为规划环节往往需要一个不确定性估计才能做风险感知的决策。1.3 规划器让模型从“能预见”变成“会决策”推演出未来还不够系统必须从中选一条路走出来这就是规划器的事。规划器接收模拟器产出的未来状态结合代价函数或奖励函数输出动作序列或者策略。规划器有三个不同的尺度。一个是路径层面的轨迹规划比如自动驾驶里选一条避开障碍物的车道级轨迹一个是控制层面的逐帧指令比如方向盘转角、油门刹车开度还有一个是决策层面的行为选择比如“变道还是跟车”。这三个尺度通常一起工作决策层先选行为轨迹层再在被选的行为空间里搜路径控制层最后把路径变成物理指令。没有规划器世界模型就只是个预言家能告诉你明天发生什么但帮不了你今天该怎么做。很多做世界模型的研究Demo都停在“预测未来很准”这一步一到实际部署就发现缺了决策这半个闭环。反过来规划器如果脱离渲染器和模拟器直接学一个端到端策略又会遇到数据效率低、泛化性差的问题——它没见过足够多的未来场景。为了帮大家快速建立画面感我把三个角色的分工整理成一个对比表功能角色回答的问题主要输入主要输出侧重的时间尺度渲染器现在世界长什么样感知隐状态/历史观测未来画面/占用栅格/深度毫秒到秒级模拟器如果……会怎样当前状态候选动作未来状态/状态分布秒到分钟级规划器我应该怎么做未来状态树/代价函数动作序列/策略秒到分钟级2. 真正的门槛不在三个模块而在连接它们的闭环三个模块各自的道理都不难懂难的是让它们共同工作。我见过太多项目三个模块单独测性能都很好一合起来就崩原因几乎都出在“连接”这件事上它们只是被单向串起来了没有形成闭环。2.1 单向链路为什么不行误差会越滚越大先把问题简化一下。如果只有一个单向链路感知出隐状态模拟器推演未来规划器选动作。这条路看似通畅但一旦模拟器推演的误差在某一帧出现没有任何机制把它纠正回来。模型只会沿着错误的轨迹一路推演下去误差像滚雪球一样越滚越大。打个比方这就像开车只靠出发前设置的导航路线完全不看实时路况。地图说前方畅通你只管开结果前方修路封了你也不知道只能一路开进死胡同。闭环的意义在于引入反馈每个环节的输出都要拿真实观测去校验校验结果再反过来修正内部状态。具体到系统里闭环至少要做三件事。第一渲染器输出的未来画面要和真实传感器的下一帧做比较差异要能反馈回感知模块。第二模拟器的推演结果在到达一定步数后要用渲染器输出的当前状态重置一次防止长期误差累积。第三规划器选出的动作要拿到模拟器里重放用模拟器的反馈来评价这个动作好不好而不是只靠一个静态的代价函数拍脑袋。2.2 闭环里的双通道数据流向前梯度流向回闭环在工程上意味着什么我建议从两个方向分别看推理时的数据流和训练时的梯度流。推理侧的数据流是前向的新的观测进来感知编码器更新隐状态渲染器把这个隐状态渲染成“当前和近未来的画面”模拟器在这个画面给出的状态上做多步推演规划器在推演出的未来状态里选动作动作再回到真实世界或模拟器里产生新观测于是下一轮循环开始。这个环跑起来系统才算真正“活”了。训练侧的梯度流是反传的。最终的任务损失从规划器出发经过模拟器的动态图一路回流到渲染器的表征空间。这个过程的意义特别大渲染器不再只优化“重建得像不像”它还得让重建出来的特征有利于模拟器做推演同时让模拟器的推演有利于规划器做出低成本高收益的决策。我打个比方分开训练时渲染器就是个美术生只管画得像加入闭环训练后它更像工地上的测量员画出来的图必须让后续施工能继续干画错了是要被返工的。这种压力会让系统内部的特征组织方式从“看图说话”升级成“为决策服务”。闭环训练在实际操作里比推理复杂得多因为梯度要跨过多个模块容易出现梯度消失或梯度爆炸。我常用的做法是给模拟器加残差连接让梯度有一条近路可以走渲染器和模拟器之间如果都是可微的梯度可以直接穿透否则就需要用重参数化或者近似梯度来绕过不可导点。这些都是工程细节但决定了一个闭环系统能不能真正训练起来。2.3 认知闭环与行动闭环同一套世界状态上的两个回路再往深一层看闭环其实有两个回路而且它们共享同一套世界状态。第一个是人脑里很熟悉的认知闭环观测 → 更新理解 → 验证预测 → 修正理解。这个环的任务是让系统“越来越懂”当前环境的规律。渲染器在这个环里扮演核心角色因为渲染出的画面与真实观测的比较就是最自然的验证信号。预测对了说明内部模型是对的预测错了说明理解有偏差需要更新。第二个是行动闭环决策 → 执行动作 → 观察结果 → 重新决策。这个环的任务是“改变世界”让系统在环境中达成目标。规划器和模拟器在环里协同规划器提出动作模拟器在内部试错再把结果反馈回决策过程。我自己的体会是理解这两个回路的关系对架构设计非常重要。认知闭环负责让内部模型贴合世界行动闭环负责让动作贴合目标两者必须共享同一个世界状态表征。如果认知环用的是A套特征行动环用的是B套特征系统内部会有信息割裂感知提升无法传导到决策决策反馈也无法优化感知。把两条回路焊在同一套状态上之后整个系统的协同效应才会出现。3. 工程选型三类功能分别用什么技术落地最稳概念层面讲清楚了接下来是真正动手时绕不开的问题每一类功能用什么技术路线实现我自己的经验是别追新先看算力、实车或真机环境的要求再看每个方案能承受的误差形态。3.1 渲染器实现路线神经辐射场、高斯泼溅还是二维栅格渲染器目前大致有三条路线各有各的适用面。第一条是基于神经辐射场NeRF的路线。它通过体积渲染从一个隐式场里生成新视角图像质量很高全可微梯度能直接反传。缺点是训练和推理都比较重动态场景处理起来很费劲。我一般把它用在离线重建或者慢速场景的静态背景渲染上比如造一个园区级的高精度三维环境给模拟器当底图。第二条是动态高斯泼溅路线。它把场景表示成一组可移动的高斯分布渲染速度快实时性比NeRF好很多这两年动态场景的扩展方案也成熟了不少。适合在线渲染尤其是需要每帧都更新场景内容的任务。但它在处理遮挡边界和大范围形变时还是容易出伪影需要额外的正则化手段。第三条也是工业落地最稳的一条二维语义栅格。直接把世界表示成一组二维占用栅格和语义栅格成本低、算得快、绝大多数决策任务用到的信息都在里面。自动驾驶里的占用网络就是这么干的它不追求三维外观的精细重建只关心“哪些地方能不能走、有什么东西、大概多快”而这对规划器来说恰恰是最有价值的表达。选择依据其实就一条渲染目标必须服务于决策本身。在小车或机械臂项目里我一般先上二维语义栅格等确需高质量三维重建再上显式三维方案盲目追求渲染画质的代价非常高而且下游任务往往并不需要那么多细节。3.2 模拟器实现路线物理引擎、神经网络还是混合残差模拟器的技术选择可以说是全系统里最需要权衡的。纯可微分物理引擎适合物理规律主导的场景比如刚体碰撞、机械臂的运动学、车辆的动力学。它的参数可解释梯度可以穿透物理方程精度高这是它最大的优势。缺点是遇到没见过的材质、复杂接触、流体等场景物理建模很容易脱离真实一个摩擦系数不对整个推演直接偏掉。神经网络动力学模型正好补上这个短板。它能从数据里学到复杂交互模式比如行人怎么走、车流怎么变化。但缺点是误差会随步长累积单步精度高不代表推演30步之后还在可信范围内。所以我最推荐的是混合路线物理引擎打底神经网络补残差。形式上可以写成 s_{t1} f_physics(s_t, a_t) g_net(s_t, a_t)网络只需要学习物理模型没抓到的那部分残差训练量小泛化也更好。这个方案在我接触的机器人系统里实测下来最稳既保留了物理约束的可靠性又给了数据驱动的灵活性。关于误差累积这里多说几句。单步误差如果很小看起来一切完美但多步推演时误差会指数放大。原因很简单一步偏差一点下一步的输入就已经偏了再往下偏得越来越厉害最终状态分布会退化到近乎随机的程度。工程上我习惯把推演长度控制在“误差可容忍”的范围内同时用周期性重置解决长期漂移让模拟器推5步然后用渲染器输出的真实观测把状态拉回来再推5步。这比一次性推演100步要可靠得多。3.3 规划器实现路线搜索、学习还是两者混合规划器的选型和任务的动作空间关系很大。动作空间离散或者低维连续时我优先考虑基于搜索的方案比如蒙特卡洛树搜索、交叉熵方法这类。搜索类方法的优势是每一步都显式评估大量候选动作可解释性强出了问题容易定位。代价是推理时要反复调用模拟器算力开销高。动作空间高维连续时比如机械臂的七轴控制基于学习的策略网络会更合适。它直接把状态映射成动作推理快能支撑实时控制。但它需要大量闭环数据而且长尾场景处理能力弱遇到训练分布外的状态很容易表演失控。真正好用的方案是两者混合搜索负责提供高质量决策数据学习负责把搜索的经验压缩成一个快速策略同时该快速策略又反过来给搜索提供先验缩小搜素范围。我用一个简化的伪代码来表达这个思想for i in range(planning_horizon): # 规划器从当前隐状态出发根据已有先验策略采样一批候选动作序列 action_seq policy_prior.sample(state, num_samples256) # 模拟器对这批候选动作做批量推演得到未来状态 future_states sim_model(state, action_seq) # 渲染器把未来状态渲染成可评估的画面或栅格 future_data render_model(future_states) # 代价函数在渲染输出上打分评估每条动作序列的好坏 costs cost_function(future_data, action_seq) # 用评估结果更新先验策略相当于让策略往低代价方向移动 policy_prior.update(action_seq[best_index], costs)这段代码看着简单实际上把三个模块都串起来了模拟器为规划器提供未来假设空间渲染器为规划器提供可评估的中间表达规划器用评估结果反过来优化自己的先验。这就是闭环在代码层面最直接的体现。4. 项目中踩过的坑渲染、推演、规划三个环节的典型翻车现场技术路线选好了不等于项目就能跑通。这一节我想分享几个我在实际项目里见过甚至亲手踩过的坑每一个都对应一类典型故障排查思路也一并写出来。4.1 渲染器学会了“画得好看”却没学会“画得正确”有段时间我们团队的渲染损失下降得很漂亮但下游决策指标却在恶化。排查之后发现问题出在渲染器“摸鱼”了它学到的策略是把输出往数据集的平均画面上靠因为平均画面的损失最小。动态物体区域被模糊处理遮挡边界被平滑掉整体看很干净但空间结构细节全丢了。这种“模式崩塌”在纯像素级损失监督下特别容易发生。修复方法有两个方向。一个是改损失结构给动态区域、遮挡边界加更高的权重同时引入特征级损失让模型在中间特征层也要匹配而不是只压到最后输出。另一个是改训练任务不要让渲染器只做下一帧重建要让它同时预测多步未来逼着它不能只靠复制当前帧混过去。实测下来两个方向可以组合使用收益是叠加的。4.2 长程推演漂移模拟器到后面已经不在可信区间另一个高频问题是模拟器的长程推演漂移。单步看准得惊人推到第十步开始飘推到第三十步轨迹已经进入物理上不可能的区域。原因就是前面说的误差累积加上模型没见过训练分布之外的中间状态。我在项目里用了三个手段联合压制。第一是训练时用多步teacher forcing不只在一步预测上监督也在推演K步以后监督让模拟器习惯在自身输出上继续推演。第二是周期重置推演一定步数后拿到真实观测把状态拉回来再继续。第三是加一个外挂校准网络专门学习模拟器当前推演残差的统计偏差在每步推演后做一个温和修正。三种手段一起上长程推演的可用步数大概能翻三倍。4.3 规划器在仿真里封神上了真车就失灵这是分布式偏移问题最典型的表现。仿真里规划器表现惊艳换到真实环境就歇菜本质原因是模拟器学到的环境和真实环境存在分布差距。规划器在模拟器里发现某条路收益很高但那可能只是模拟器里“虚假的捷径”现实里不存在。这里我能给的最实用建议是两条领域随机化和在线适配。领域随机化是在训练时故意给模拟环境加随机扰动光照、材质、摩擦系数、传感器噪声都可以加逼着规划器学到在扰动下依然稳健的策略。在线适配则是系统运行时持续用真实观测微调模型参数让模型一点点跟上真实环境的特性。两条一起用仿真与真机的性能鸿沟能明显缩小。4.4 常见问题速查表一页纸解决日常排查把前面这些经验整理成一张速查表给团队里的同学排查用很方便现象可能原因优先排查项常见修复渲染画面糊、动态物体消失渲染权重过大、监督信号被平均化检查损失曲线是否快速收敛动态区域加权、加入特征级损失多步推演走向不可信区域误差累积、中间状态分布外观察推演轨迹是否偏离可行域teacher forcing、周期重置、校准网络仿真指标高、真机表现崩模拟器与真实环境分布偏差对比仿真和真机观测特征分布领域随机化、在线增量学习规划器输出抖动、动作不连贯代价函数多目标冲突或搜索迭代不足检查代价曲面是否过陡或过平加入平滑项、提高迭代次数、用先验引导搜索最后再说一个我个人的体会。做了几个闭环项目之后我越来越确信一件事闭环本身比任何单个模块的模型设计都重要。渲染器不一定要用最新的三维重建技术模拟器不一定要做到绝对精准规划器也不一定要用最酷的搜索算法但三者之间的反馈校正回路一定要通畅。很多Demo做得花团锦簇最后卡死在一处非常简单的反馈缺失上那种挫败感我太熟悉了。如果资源有限只能先做一件事我会优先把“渲染器到模拟器”的预测校正回路跑通让模拟器每推演几步就被渲染器拿真实观测拉回来一次。这个动作对系统稳定性的贡献通常比换一个更强的规划器大得多。先把这条回路打磨稳定你大概率已经跑赢半数停在单点模型上的项目了。