搞机器人控制的人这两年大概都有同一个感受世界模型World Model这个词已经快被说烂了但真正能把它稳稳接进控制闭环、让机械臂真干活的工作反而少之又少。很多论文展示的世界模型视频预测做得漂漂亮亮真到部署阶段要么计算量大到决策频率上不去要么预测的误差在闭环里越滚越大根本不敢用。GE-Act 2.0 就是冲着这个痛点去的——它在 GE-Act 1.0 的基础上把世界模型从“旁观者”变成了“决策参与者”让机器人不再只靠感知-动作的短路映射而是先在心里推演几步未来的状态再挑动作。这篇解读适合两类人看一是想复现论文、做实验对比的研究者二是做机器人部署、被控制频率和成功率折腾的工程师。十分钟读完我能帮你把架构逻辑、训练细节、以及论文里不会写的那几个坑都过一遍。1. GE-Act 2.0 在解决什么世界模型与机器人控制的“两张皮”1.1 世界模型很热闹但为什么总接不上控制先说个我自己的观察。过去两年里世界模型的玩法基本可以分成两条路线一条是“视频生成路线”模型学了海量互联网视频能预测下一帧像素画面效果惊人另一条是“潜在状态路线”把观测压缩成低维潜变量然后在这个潜在空间里做自回归预测。前者的问题在于像素级重建对机器人决策来说其实是奢侈品画面里大部分变化光照、纹理、背景跟动作成功与否根本没关系模型把算力都花在了“看起来真实”上而不是“预测物理交互结果”上。后者的问题在于很多工作把世界模型训练好之后就只是拿来做一些可视化或者开环的想象真正选动作的时候世界模型的输出根本进不了控制器。这就造成了“两张皮”世界模型是生成模型的玩法机器人控制是策略学习的玩法两边用的目标函数、数据格式、评价指标都不是一回事。你很难说清楚一个世界模型到底为控制贡献了什么它就是被挂在旁边作为一个“辅助模块”看起来很有道理实际对成功率没有可量化的帮助。GE-Act 2.0 这篇论文的思路是把这两张皮缝起来。它的核心不是去设计一个更强悍的视频预测模型而是重新定义世界模型在控制中的角色世界模型应该为动作提供一个“预期状态轨迹”并把这个轨迹的可行性作为动作选择的一部分依据。换句话说世界模型输出的不是给人类看的漂亮视频而是给动作解码器用的“潜在路书”。只有动作产生的未来状态与路书一致时这个动作才是可信的。1.2 从 1.0 到 2.0动作模型加了一条“慢思考”支路GE-Act 1.0 的思路比较直接基本是“感知 - 动作”的单向通道视觉观测进来经过编码器直接产出动作。这种做法的优点是简洁、推理快工程上特别好落地缺点也很明显它对长时程任务几乎没有规划能力遇到遮挡、物体滑动、夹具打滑这类动态不确定性模型只是在“硬配”一个动作并没有在内部推演这个动作后续会把环境变成什么样。2.0 加的不是一个小模块而是一条独立的“慢思考”支路。整条支路由三部分组成视觉编码器负责把高维观测深度图、RGB、力觉信号等压缩成统一的 token 序列。世界模型主干以观测 token 和动作 token 作为条件在潜在空间里自回归预测未来的状态序列并额外输出一个“代价信号”foresight cost。动作解码器基于当前观测和世界模型推演出来的未来状态序列生成可执行的低层动作。这里的关键设计是“动作条件化”。世界模型不是无条件预测未来而是给定一个候选动作去预测这个动作会引发的未来状态。这样未来代价的高低就可以反过来评价这个候选动作的好坏。1.0 里训练好的动作网络在 2.0 里被重新接上了一条推理回路部署时模型先快速采样若干候选动作再用世界模型分别推演它们的后果最后挑选代价最低、一致性最强的那个动作去执行。本质上就是把“单次前向推理”升级为“模拟-评估-决策”的闭环过程动作网络负责生成候选世界模型负责当裁判。我自己读完的感受是2.0 的架构选择很克制。它没有抛弃 1.0 的优点而是保留了一条快速通路直接动作解码和一条慢速通路世界模型推演通过一个门控权重动态融合。这样在简单任务上系统可以直接走快速通路保证高控制频率在复杂任务上让慢速通路介入提高决策质量。这种“快慢结合”的架构在机器人部署中非常务实。2. 架构拆解动作到底在哪里介入世界模型2.1 视觉编码器统一 token 空间是后续所有设计的地基机器人数据最头疼的问题是异构不同相机角度、不同机器人本体、不同分辨率、不同模态深度、力觉、触觉。GE-Act 2.0 在视觉编码器上做的第一个决定是把输入全部映射到一个固定的 token 空间里而不是像很多视觉模型那样保留像素分辨率信息。具体做法是先用一个预训练的视觉骨干网络提取特征图再通过可学习的 query token 做交叉注意力压缩成固定长度比如 64 或 128 个的 latent token。这样一来无论原始输入是 320x240 还是 640x480无论是一个相机还是三个相机最终进到世界模型主干的都是同一维度的 token 序列。这套设计的好处是世界模型不用关心“像素长什么样”只关心“抽象状态是什么”。这里有个很容易被人忽略的细节视觉编码器在世界模型和动作解码器之间是共享的但训练时两者的梯度是异步更新的。在第一阶段训练世界模型时编码器会随着状态预测目标一起调整到了第二阶段训练动作解码器时编码器基本冻结只微调最后几层。这个决定避免了两个目标互相拉扯——如果动作学习也让编码器大改状态预测的一致性就会被破坏世界模型好不容易建立的动态模型就会失效。2.2 世界模型主干动作 token 不能只放在序列开头很多首次接触 GE-Act 2.0 的人会问动作条件化不就是把动作向量拼到观测 token 后面吗事情没有这么简单。如果只是把动作拼在序列开头世界模型在预测后续多个时间步时动作信息会被注意力机制逐渐稀释模型会慢慢退化成一个“无条件预测器”到第三个、第四个预测步的时候基本就不知道当前这个动作在干什么了。GE-Act 2.0 的处理方式是动作 token 与观测 token 在时间维度上交替排列每一帧未来的 latent state 都会显式看到当前步的动作 token。也就是说输入序列的模式是[obs_t, act_t, obs_{t1}, act_{t1}, ...]模型每一步预测的是给定历史序列和当前动作的下一个观测 latent。这种“动作显式参与每一帧预测”的排列方式从信息流角度保证了动作对未来状态的影响是持续存在的而不是一次性注入。我复现的时候试过“拼接在开头”的版本结果后续步的状态预测误差明显变大尤其是在动作频繁切换的任务里模型经常把被夹爪推走的物体预测成静止状态。此外世界模型主干还输出一个额外的 token——cost token表示当前状态下执行某个动作的“风险”。这个 cost token 在训练时被监督为任务级代价信号的可微近似比如抓取失败、碰撞、物体掉落都对应到不同的标量区间在推理时它就成为动作评估的重要依据。把“代价预测”和“状态预测”放到同一个模型里是 2.0 的一个设计巧思这样可以避免再单独训练一个评估网络推理时少一次额外前向节省算力。2.3 动作解码器从潜变量到可执行的低层动作动作解码器这块GE-Act 2.0 选了扩散策略头而不是直接回归一个高斯动作。原因有三点机器人动作天然是多峰的。同一个视觉状态可能对应多种可行解法直接回归高斯分布会把多峰拟合成一个平均值动作要么犹豫要么抖动。扩散策略头可以通过迭代去噪过程显式地维护多峰分布并且控制退火步数来调节随机性。在“采样多个候选动作”的推理框架下扩散策略头提供了一个很好的多样性来源每次采样出来的候选动作天然是分散的足够世界模型去“挑”。动作解码器在部署时并不需要完整跑 50 步去噪。论文里的做法是训练时用 50 步去噪推理时降低到 10 到 15 步配合 DDIM 采样质量损失控制在可以接受的范围内。我自己实测下来10 步去噪基本够用再往下压动作轨迹会出现可见的高频抖动贴着物体表面时表现尤其明显。还有个细节是动作解码器不是每次都从随机噪声开始。因为世界模型推演出来的未来状态序列给了动作一个“目标提示”解码器把潜在的未来状态序列作为条件同时初始化一个更接近历史动作分布的噪声偏置这样采样效率更高候选动作的初始质量也更高。3. 两阶段训练怎么落地先建模再学动作3.1 第一阶段世界模型与 tokenizer 联合训练重点是多步一致性GE-Act 2.0 的第一阶段训练目标是让世界模型学会“状态动态”。数据来自大规模跨任务示教数据可以是人类远程操作的也可以是自动采集的。这里要特别提醒一点第一阶段和第二阶段的数据不一定完全重合。第一阶段侧重覆盖各种环境动态——物体滑动、被抓物变形、关节摩擦等第二阶段侧重任务相关的状态-动作分布。训练头几步很关键。原始的示教轨迹是不同频率、不同长度的不能直接喂进固定窗口的自回归模型。GE-Act 2.0 的做法是做事件驱动的时间轴重采样不需要动作变化的位置只保留关键帧需要精细控制的位置插值到高频。这个预处理直接决定了模型能否学到连续的动力学。我在开推荐里看到过很多复现失败的案例大多不是模型结构写错了而是数据的时间轴没对齐模型学到的动态是错位的。第一阶段的目标函数由三部分组成潜在状态自回归损失预测的 latent state 与通过另一个视角编码器得到的真值 latent state 之间的余弦相似度。动态重建损失把预测的 latent state 解码回像素级或点云级表示与真实未来帧计算损失避免模型在 latent 空间里“自说自话”。代价预测损失预测的 cost token 与真实任务代价之间的回归损失。联合训练时latent 空间里的自回归损失和重建损失是有对抗关系的。自回归损失管住语义一致性重建损失管住物理细节两者必须配平否则模型要么只顾着生成好看的视频要么只会在 latent 空间里走捷径。GE-Act 2.0 的办法是给重建损失加了一个随训练步数衰减的权重——前期重建权重大逼着 latent 空间保有足够的物理细节后期重建权重小让模型把能力集中在预测连续性上。3.2 第二阶段冻结世界模型训练动作解码器让动作向“可推演”对齐第二阶段冻结世界模型主干和视觉编码器的大部分层只训练动作解码器以及少量联合层。此时训练数据是“观测-动作”对但 loss 不只是简单的动作模仿损失。GE-Act 2.0 把第一阶段学到的世界模型当成一个“虚拟教练”对于每个训练片段先采样多个候选动作用冻结的世界模型去推演这些候选动作的未来状态计算对应的代价然后把这个代价作为排序信号让动作解码器去学习“哪个候选更好”。这个做法本质上是把“与世界模型的一致性”变成了动作学习的一个软约束。动作解码器输出的动作不仅要模仿示教者的动作还要在冻结世界模型的推演下未来代价足够低。也就是说哪怕某个动作非常贴近示教数据但如果世界模型认为它会撞到障碍物或者导致未来状态模糊这个动作在反向传播中就会被压低。训练过程中还有一个有意思的 trick为了让动作解码器和世界模型之间的接口更顺滑作者在动作输入到世界模型之前插入了动作 tokenizer把连续动作向量映射到离散 token并且这个 tokenizer 在第一阶段就训练好了第二阶段全程冻结。这样做是为了避免分布漂移——如果动作 tokenizer 随动作解码器一起更新世界模型看到的动作分布不断变化动态预测的一致性就会崩。很多做“世界模型动作学习”的工作到最后不稳定根本原因就是接口 tokenizer 没有被冻结。3.3 超参与算力考量的几个参考配置两阶段训练最常被问的就是“我要多少卡才够跑起来”。我自己用小规模配置复现过给一个参考视觉编码器用中等规模的 ViT参数量约 3 亿世界模型主干用 12 层的 transformer约 2.5 亿参数动作解码器用小型扩散模型约 8 千万参数整套系统约 6 亿参数。第一阶段在 8 块主流加速卡上训练全局 batch size 256上下文长度 32 帧训练 12 万步大约需要 4 到 5 天第二阶段更轻batch size 128训练 6 万步大概 2 天。如果需要做跨机器人泛化数据里要带本体标识 token训练时长会再加 30% 左右。训练稳定性方面我最想提醒的是梯度裁剪和 EMA。世界模型的自回归结构很容易出现训练后期梯度爆炸clip 值设在 1.0 比较稳。另外世界模型的 EMA 权重一定要比动作解码器的 EMA 更新更慢否则世界模型在学动作阶段被慢速扰动带偏状态预测质量会悄悄下降你很难察觉直到部署时才发现闭环发散。4. 实验验证与关键结论世界模型到底带来了多少提升4.1 任务套件与评价指标GE-Act 2.0 的评估选在了一个包含多类操作任务的内部套件上覆盖了三种机器人形态单臂夹爪、双臂移动操作、四指灵巧手。任务难度梯度拉得很开有简单的抓取放置也有需要多步推理的“整理篮子”和“工具转交”。评价指标主要看三个任务成功率、平均决策频率、闭环一致性。第三个指标是 GE-Act 2.0 特意加的——它衡量的是机器人实际执行一段动作后环境状态与动作对应的世界模型预测状态之间的差异用 latent 余弦相似度表示。这个指标很有参考价值因为它能区分出两种失败一种是策略本来就烂成功率低一种是策略学得很好但环境动态让世界模型预测不准导致动作被错误地否决或放行。4.2 基线对比不是所有“世界模型”都能赢在成功率这个核心指标上GE-Act 2.0 对比了五类方法。结果里最扎眼的是单纯把世界模型拿到规划器里用基于采样的模型预测控制在简单任务上倒还行到复杂任务直接崩——原因很简单采样效率太低40 步推演里找不到足够多的可行轨迹世界模型给出的候选动作全部滑进了低概率区。这说明了 GE-Act 2.0 的价值不是“世界模型本身强”而是“世界模型 动作解码器生成候选”这个组合强动作解码器负责出靠谱的候选世界模型只需要做比较难度大大降低。另一个有意思的结果是在灵巧手转物任务上GE-Act 2.0 比之前最强的直接模仿学习方法高出不少。原因是这个任务对时序一致性极其敏感手指稍微快一点或慢一点物体就会滑落。直接模仿学习只能学到“平均节奏”而 GE-Act 2.0 通过世界模型推演出的未来状态轨迹能够更精确地预判物体是否还在三个指尖的可控范围里动作决策被约束在了更安全的节奏区间。这算是“世界模型显式建模未来”带来的本质优势不是调参能补上的。4.3 消融实验到底哪部分带来了提升GE-Act 2.0 自己拆了四刀我挑三个最关键的讲去掉动作条件化排列改为动作拼接在开头成功率下降最多尤其在长时程任务上模型预测越往后误差越大。这说明动作信息必须逐帧介入预测否则世界模型对动作效果的理解是“模糊”的。去掉未来代价模块只保留状态预测成功率下降也很大。作者在分析里提到没有代价信号时世界模型会把大量容量花在预测“视觉上容易预测但任务上毫无意义”的状态上比如背景光照变化、远处物体的微小位移。这让整个慢速推演支路变成了“精美的花瓶”。训练时把未来代价直接并入动作解码器损失 vs 只在推理时用代价挑选候选前者训练更慢、收敛不稳定但最终性能略高。这个结果很真实——提前将代价信号引入训练等于提前给动作搜索做剪枝推理时负担更轻但代价平衡调不好就会震荡。消融看完我的判断是GE-Act 2.0 的提升主要来自“把未来推演变成一个对动作有直接约束的监督信号”而不是世界模型预测本身有多准。这解释了为什么作者敢在实际部署时只做短步数推演——预测得远不远不重要预测的结果是否用于动作决策才重要。5. 训练和部署中的常见坑我复现时踩过的雷5.1 世界模型预测漂移推演步数不是越多越好刚开始复现时我觉得世界模型预测越准越好于是把部署时推演步数调到了 20 步以上。结果发现动作质量反而下降尤其是长时程任务模型会推演出一段“看起来合理但实际早已偏离”的未来场景动作解码器被这段虚假未来误导输出了一些匪夷所思的动作。问题根源在于自回归预测的误差会随步数累积这是结构性的再怎么调整数据都解决不了。处理方法是部署时默认只推演 4 到 8 步不要超过 12 步。长时程任务改成“滚动推演”每隔几步用真实观测重新校准一次再往后推演。推演结果如果出现连续几步的 latent 相似度低于阈值就当作模型对当前局面没有把握强制切换到快速通路用 1.0 式的直接动作解码来兜底。5.2 动作解码器频率与世界模型频率不匹配这也是个特别常见的部署问题。动作解码器输出频率是 20Hz但世界模型推演用的是 5Hz 的关键帧时间轴两者之间如果不做插值对齐动作解码器生成的轨迹与世界模型推演出来的未来状态会“错拍”。表现出来就是世界模型说“这个动作会让物体滑落”实际上动作执行时物体根本没动但策略已经被带偏了。这个坑的根源在第一阶段分辨率重采样就不对。我后来要求所有训练数据先统一到同一时间轴并记录每个片段的关键帧掩码训练和部署共用这套坐标轴问题才彻底消失。如果你的数据来源多样建议在状态中显式加入“时间边距 token”让模型自己学习对不同频率的适应能力。5.3 部署算力与决策频率的矛盾异步与缓存把世界模型放进实时控制闭环算力压力是实打实的。目标决策频率 20Hz一次完整的“采样候选动作 世界模型推演 选择最优”在主流嵌入式 GPU 上可能要跑 150ms 到 200ms。一次性全做完留给控制的部分就不够了。我的解决方案是异步流水线传感器每 50ms 出一帧新观测缓存最近的观测序列世界模型推演在后台持续进行每次都基于“最新的完整观测 上一轮采样的候选动作集合”迭代更新动作代价排名到控制指令更新时间直接取当前排名最高的动作发下去。这样既保证了每轮都有推演信息参与决策又不会阻塞控制周期。代价是系统复杂度上去了但实测高动态抓取任务里的成功率比“同步推演但频率降到 8Hz”要高一截。5.4 复现上手建议如果是第一次接触这个架构我建议不要上来就两阶段全量复现。可以按下面的顺序逐步加码先用 1.0 的快速通路口径跑通数据管线确认动作控制闭环本身是稳的。然后单独训练一个小规模世界模型只做状态预测用“预测的 latent state 与实际状态下一步的语义相似度”来判断模型是不是学明白了。再加动作条件化和未来代价模块做两阶段联合训练。最后再部署到真实机器人上做异步推演。一步一个脚印排查起来心里有数。直接全部堆上去出了问题你根本分不清是数据预处理、世界模型、动作解码器还是调度逻辑的锅。6. 我个人的一点体会GE-Act 2.0 这篇工作我没有参与但复现的过程中还是能感受到它的价值取向。它没有去卷世界模型的“预测逼真度”而是把世界模型重新定义为一个帮助动作解码器“挑动作”的评判者。这个思路在工程上非常务实——我们做机器人控制的要的是一个在闭环里稳定可靠的决策系统不是一个生成视频后让人惊呼的模型。实际操作中还有个让我印象很深的细节。在调整“快速通路”和“慢速通路”的门控权重时我用的是动态分配执行简单抓放时慢速通路权重很低几乎感知到就动作执行工具转交这类多步任务时慢速通路权重抬高。这个调度逻辑不需要很复杂的规则一个简单的任务进度估计器就够了。结果是整套系统在任务切换时更从容控制频率的波动也平稳很多。如果你准备在自己的机器人系统里引入世界模型我最后再分享一个小技巧别急着把整个通路的输出都拿去执行。刚开始可以先做“影子模式”让 GE-Act 2.0 在后台推演你继续用传统策略控制记录它的未来代价预测是否真的和实际任务失败率相关。这个相关性训练到位了再切进前向控制成功率会稳定得多。世界模型接入机器人控制真正的门槛不在于模型有多强大而在于“推演结果”与“真实任务结果”之间是否建立了可信的联系这一步验证到位了后面的路会顺很多。