1. 从看得见到做得成机器人模型正在经历一次认知升级这几年做机器人智能体方向的研发一个特别明显的感受是我们不再纠结于怎么让机械臂动起来这种底层问题了真正让人头疼的是另一件事——机器人到底靠什么来决定自己下一步该做什么。早期大家普遍用的是感知-规划-控制三段式流水线每个模块各司其职看起来没毛病但跑起来就会发现一个尴尬的现实感知模块识别出杯子规划模块算出一条轨迹控制模块执行到位——然后杯子换了个颜色或者光照变了一下整个链条就崩了。问题不是出在某个环节而是环节和环节之间压根没有共同语言。最近两年三类架构频繁出现在各种论文和开源仓库里分别是WMWorld Model世界模型、WAMWorld Action Model世界动作模型和VLAVision-Language-Action视觉-语言-动作模型。很多人第一次看到这三个缩写会有点懵因为它们看起来像是在描述同一种东西——都是给机器人一个视觉输入然后输出动作但实际设计哲学和适用场景差异非常大。简单说VLA解决的是从看直接到做的直通问题WM解决的是预判世界接下来会怎样的理解问题而WAM是两者之间的一种混合折中试图让机器人在动手之前先想清楚。这篇文章我会把这三种模型从原理、训练数据、推理机制、部署成本几个维度彻底拆开聊一遍也会结合我实际跑过的一些实验和踩过的坑讲讲到底什么时候该用VLA、什么时候值得上WM、WAM又适合什么样的任务。内容比较长建议先收藏再慢慢看。适合的读者正在做机器人操作、具身智能、仿真到真机迁移的工程师和研究者对AI模型架构感兴趣、但还分不清这几个概念的初学者以及想评估要不要引入世界模型但不知道从哪下手的团队。2. 三类模型各自的人设WM负责想象VLA负责执行WAM负责边想边做2.1 WMWorld Model机器人大脑里的物理直觉很多人第一次听说World Model都是因为在自动驾驶或者游戏AI里看到这个词。其实它的核心思想非常朴素让模型学会描述世界在下一秒会变成什么样子。2018年David Ha和Jürgen Schmidhuber那篇经典的World Models论文用的还是赛车游戏环境模型分成Vision压缩视觉信息、Memory记忆时序、Controller输出控制三个组件本质上就是让智能体在内心模拟出一个虚拟环境然后在这个虚拟环境里试错、规划。后来到了机器人领域WM的定义逐渐演变成一种多模态预测器——给一段当前状态视觉、本体感觉、指令模型预测未来状态下一帧画面、下一个关节力矩、下一个物体位姿。听着很抽象你可以把它理解成机器人的物理直觉一个见过大量真实交互数据的WM看到杯子在桌沿能猜到它可能会掉下去看到门把手能猜到往哪边转能打开。这种能力不是靠人写规则实现的而是从海量视频和交互数据里自己长出来的。我个人的看法是WM真正的价值不在于预测得准而在于它给机器人提供了一种离线试错的空间。过去想验证一个操作方案能不能成只能真机跑一遍成本高、风险大有了WM机器人大脑里可以先跑几十遍虚拟轨迹选一条最优的再真机执行。这也是为什么很多做强化学习的团队开始把WM当成环境模拟器的学习型替代品。2.2 VLAVision-Language-Action把看懂指令和做出动作焊在一起VLA是2023年以来具身智能领域最火爆的方向之一Google的RT-2、π系列、以及国内外的各种开源VLA如雨后春笋一样冒出来。它的设计初衷非常直接以前要让机器人执行一句自然语言指令要串联视觉理解模型→任务规划模型→动作生成模型三个独立网络每个模型都有自己的一套特征空间衔接处必然信息损耗。VLA干脆把V视觉编码器、L语言模型、A动作头统一塞进一个大模型里输入是图像文字输出直接是动作token。从架构上说VLA本质上是一个多模态大模型的特化版本。它用预训练好的视觉编码器提取图像特征用语言模型部分负责语义理解然后在模型末尾加一个小型动作头比如MLP或者离散化动作tokenizer把理解了直接变成关节角度序列。这里有个特别多人误解的点VLA并不是端到端就代表优秀。恰恰相反正是因为跳过了显式的中间表示VLA非常依赖训练数据的质量和覆盖面。数据里没出现过的物体、没见过的场景布局、没听过的指令措辞VLA很容易一本正经地做出错误动作——这在行业里叫动作幻觉。我后面会用专门的章节讲这个问题。2.3 WAMWorld Action Model不满足于能预测还要会决策WAM这个缩写目前在国内讨论还不算多但概念上很有意思。从字面上看WAM World Action意思是一个同时建模世界变化和动作输出的联合模型。如果说WM只负责想VLA只负责做那WAM就是把想和做合在一个模型里让模型在推理动作的时候内部同时有一个世界演化的隐式模拟。我用一个具体的例子来说明三者的区别。假设任务是把红色积木放在蓝色积木上面WM的工作方式是它接收当前画面和任务描述内部预测如果我这样移动机械臂画面会变成什么样子但它不直接输出关节角度它输出的是未来状态的表征动作还得靠另外一个规划器去解。VLA的工作方式是它直接看图、看指令然后啪地一下输出一串动作token中间没有任何显式的未来状态预测——全靠从数据里学到的直觉。WAM的工作方式是它既要预测未来画面/状态像WM一样又要基于预测结果输出动作像VLA一样两者在同一个模型里联合优化训练时看的是动作→未来状态→奖励这样的完整因果链。所以你会发现WAM不是简简单单的WMVLA两个模型拼在一起而是要解决一个更难的数学问题如何让动作生成这个离散决策过程和未来状态预测这个连续回归过程在共享特征空间里互相促进。这个方向目前还没有统一范式很多论文还在探索不同的损失函数组合和架构变体。从产业链的角度看NVIDIA的Alpamayo这类面向辅助驾驶场景的开源VLA推理模型已经把VLA的应用从机械臂扩展到了更动态的驾驶场景。这类模型处理的是视野里出现突发状况→需要立即决策的任务对世界理解的要求更高单纯靠VLA的视觉-语言-动作直连不够稳需要模型内部有更强的短期预测能力——这正是WAM想补上的短板。3. 从「看」到「想」再到「做」三者在一次真实任务里的协作关系3.1 感知与语义理解VLA的眼睛为什么和传统视觉模型不一样要理解VLA的看到底是怎么工作的得先搞清楚它用的视觉编码器和传统CNN/检测模型有什么本质区别。传统视觉模型输出的是这里有个杯子、坐标是多少、类别是什么这是一种离散的、符号化的描述而VLA里的视觉编码器输出的是连续的特征向量里面同时包含了空间位置、纹理、几何结构、甚至隐含的物理属性比如它看起来重不重、会不会滚动然后语言模型部分再去解读这些特征。这种差异带来的好处是VLA对未知物体的泛化能力更强——它不需要检测器见过的严格类别列表而是通过视觉特征和语言描述的语义对齐来推断这大概是个能拿起来的东西。但代价是解释性变差你很难知道模型到底是看了哪个区域才决定抓取的。我跑RT-2系模型的时候经常出现模型盯着一把椅子却输出了抓取杯子的动作的情况事后分析特征图才发现它把椅背的弧度误解成了杯柄。这就是视觉特征和语义对齐还不够精细导致的。3.2 推理与预测WM如何让机器人多想一步纯VLA有个天生缺陷它没有预判的能力。人类拿杯子之前脑子里已经预演了一遍伸手→握紧→抬起的整个动作序列如果杯子里有水还会预判抬快了会洒出来。VLA没有这个预演过程它只是从数据分布里采样了一个合理的动作序列至于这个动作完不完成目标、会不会撞到旁边的障碍物模型内部没有一个显式的机制去校验。这就是WM的用武之地。WM在训练时看过大量动作→结果的配对数据它学到的是环境对动作的响应规律。把它放在VLA前面或者旁边就可以做一个提出假设→仿真验证→选最优的闭环。业界常见的做法是先用VLA粗生成几个候选动作然后喂给WM去想象每种动作执行后的未来N帧画面再用一个奖励函数或者规则判断哪个结果最接近目标最后挑那个最好的动作去执行。这个过程有一点像下棋的时候在脑子里算几步把只看眼前变成了往后多想几步。当然计算代价也成倍上升——WM每想象一步都要做一次前向推理所以很多团队在做实时系统的时候会限制想象深度或者只在动作切换点才调用WM而不是逐帧调用。3.3 动作生成与闭环执行从想明白到做得成的最后一道坎就算模型在看和想这两个环节都做得很好最后一步做依然有大量工程问题。VLA输出的动作token通常是离散化的比如把连续关节角度映射到256个离散bin里这会给执行带来不可避免的量化误差。在仿真环境里误差可能无所谓但真机上差个几度机械臂可能就抓空了。我见过一个挺典型的案例一个团队用VLA在MuJoCo里跑成功率95%换到真机上直接掉到60%查来查去发现是动作离散化精度不够——仿真里物体表面摩擦力是理想化的小误差靠接触就自动修正了真机上差1-2毫米就滑走了。他们最后把动作头改成混合输出连续值离散值并且加了一个轻量的PID补偿层才把真机成功率拉回85%。所以我的一个强烈建议是在评估任何VLA/YOLO系列/动作生成模型时永远要把部署环境的执行噪声纳入考量而不是只盯着仿真benchmark。这也是为什么现在很多团队开始把WM用于仿真环境动态调整——用WM预测真机执行后的实际状态再反过来修正动作比单纯开源模型直接跑要稳得多。4. 深度拆解三种模型各自的训练范式与实际瓶颈4.1 VLA模型的数据配方为什么越大越好不总是成立VLA的训练数据和纯语言模型有共性——都遵循Scaling Law但VLA多了两个变量视觉-语言对齐质量和动作标注精度。先说视觉-语言对齐目前主流做法是收集大量图片自然语言描述数据做对比预训练类似于CLIP那套范式让视觉特征和文本特征在同一个向量空间里对齐。这块数据互联网上很多难点不大。真正的瓶颈是动作标注。要让VLA学会输出动作必须有当前状态指令→标准动作的配对数据。这种数据的获取成本极高真人遥操作采集一小时可能就几千条有效样本自动生成又受限于仿真环境的物理真实性。所以很多VLA论文里的数据配方都是预训练用互联网视频/图文对微调用机器人操作数据。这里有一个实操中的坑微调数据太少或太单一VLA很容易退化成背诵数据而不是学会任务。举个例子训练数据里机械臂永远从右侧接近物体你以为它学到了抓取物体这个技能实际上它只学会了向右移动然后合拢夹爪。换个方向它就完全傻了。解决方法是数据增强时对视角、位置、光照做充分的随机化甚至在多个仿真环境里交叉采集逼着模型学到不变量。4.2 世界模型的自监督预训练预测未来不等于理解世界WM的训练主任务有两个流派像素空间预测和隐空间预测。像素空间预测就是直接预测下一帧图像VAE/扩散模型都干过这个活优点是直观、可以可视化check模型学得好不好缺点是计算量巨大——预测一张256×256的图像比预测一个512维特征向量贵两个数量级而且大量像素其实是冗余的墙壁纹路、背景光照根本不会变。隐空间预测是近两年的主流方案先用一个预训练的编码器把图像压成紧凑特征向量比如用VAE或者CLIP编码器然后WM只预测这个特征向量的未来变化。它的缺点也很明显隐空间的可解释性差你很难知道模型理解了什么。我自己的经验是实操中最好两种Loss都用主Loss用隐空间预测保证训练稳定性加一个轻量的解码器定期把隐空间预测结果翻译成图像专门用来人工审查模型是否学到了正确的物理规律。这个人工审查环节千万别省。有一次我们训练一个桌面操作场景的WM指标看着很漂亮隐空间预测误差一路下降但把预测结果解码成图像一看——模型压根没在预测物体运动它只是把所有动态区域的像素都抹平成模糊的因为这样均方误差最小。这就是典型的预测了但没理解。没有人工审查这个bug能让你白跑两周实验。4.3 WAM的训练损失设计怎么让预测和决策互相帮助而不互相干扰WAM的难点在于同一套参数既要会预测未来状态回归任务又要会输出最优动作决策任务。如果简单地把两个Loss加起来很容易出现一种情况预测分支学得很好但决策分支一直上不去——因为两个任务对特征的要求不一样预测需要保留丰富的环境细节决策需要提取与动作强相关的稀疏信息两者冲突。目前论文里常见的解法有几种分阶段训练先用大量无标签视频数据训好世界模型部分自监督再冻结部分权重、用操作数据微调动作头。这样两个任务用两套训练阶段来解耦工程上最简单也是我推荐优先尝试的路线。多任务头共享一个主干但预测头和动作头各自独立参数Loss加权系数动态调整。这方法的坑在于权重怎么调——权重调不好弱的那个任务会被另一个吃掉。因果注意力掩码让动作头只能看到过去和现在的状态而预测头只能看到过去当前动作。这种设计强制模型内部形成动作导致状态变化的因果链。实现不复杂但效果提升往往很显著。我个人目前最青睐的是第三种思路它解决了WAM最关键的因果混淆问题——很多模型看似在做预测和决策其实只是把视觉特征和动作做了相关性匹配并没有真正理解动作导致变化的因果关系。5. 横向对比数据需求、算力成本、实时性与部署难度这几种模型的选型不能光看精度还得看团队手里的资源。我整理了一个对比表格都是基于我自己的项目经验和公开论文数据供参考维度VLAWMWAM核心输出动作序列未来状态表征动作序列未来状态典型数据量需10万级操作数据微调需百万级视频/交互数据预训练需大量未标注视频操作数据训练成本中高大模型为主干高生成式训练算力杀手最高两个任务联合训练推理时延低-中单次前向出动作中-高需连续预测多步高预测决策多次前向可解释性差中可解码成图像检查中-差泛化到新场景依赖数据覆盖较强见过更多环境动态较强有世界理解加持部署难点动作量化误差语义幻觉隐空间预测质量不稳训练稳定性难调结构复杂适合团队有大量操作数据、想做垂直场景有海量视频数据和多卡集群研究型团队愿意探索新架构从这张表可以看得很清楚没有绝对的最优模型只有最匹配当前资源和任务的模型。举个例子如果你做一个固定工位、固定零件的上下料机器人环境的物理规律基本不变那VLA足够了没必要上WM——世界模型在这种高度受限的场景里发挥不出优势反而白白增加推理延迟和部署复杂度。反过来如果你的机器人在开放环境里工作比如家庭服务、仓储拣选环境里什么奇怪物体都有那VLA的直连会频繁失效这时候WM预判物理变化的能力就变得值钱起来——哪怕推理慢一点也比反应很快但经常做错强。WAM则更适合那些任务种类多、每个任务数据都不够多的场景。因为它可以用海量无标注视频做自监督预训练学到世界运转的一般规律然后只用少量操作数据学具体动作映射数据效率理论上比纯VLA高很多。当然理论上高很多意味着实现起来也会踩很多坑这点我深有体会。6. 从仿真到真机选型、评估与部署的六个实战建议6.1 先想清楚你的动作空间是什么这是最容易忽略的问题。同样是VLA输出关节角度、输出末端位姿、输出拿起/放下/移动这种高层动作原语训练难度和部署方式天差地别。高层动作原语适合任务层面比较宏观的规划低层关节控制适合精细化操作。如果你的任务需要精细力控那VLA输出的粗粒度离散动作多半不够下面必须挂一个高频控制层做平滑。6.2 仿真数据要用域随机化别偷懒很多团队觉得用仿真数据训练VLA是退而求其次其实仿真数据的价值非常大——前提是做好域随机化。把物体的纹理、颜色、形状做随机打乱把相机位姿加随机扰动把光照条件做随机切换这些看起来不起眼的操作能把模型在新场景上的成功率提升好几个档次。我看到太多项目死在仿真表现完美、真机全崩上一半以上是因为数据太干净。6.3 用WM做仿真到真机的虚拟预演现在比较前沿的做法是不直接把真机数据拿来微调VLA而是先用真机跑少量轨迹几十条更新一个轻量的真机环境WM然后用这个WM把仿真策略翻译到真机环境里做大规模验证。这样能极大减少真机调试时间——毕竟真机一小时的成本往往是仿真的一百倍。这个思路本质上是把WM当成了一个可学习的域适配器我个人判断未来会成为仿真到真机迁移的标准组件。6.4 评估时加一个对抗探测器专门测幻觉如果你决定用VLA我强烈建议在你的评估集里加一类陷阱样本比如桌面上同时有杯子和一个长得像杯子的圆柱体、但实际是胶带卷指令里的物体和画面中的物体颜色不一致以及不存在目标的情况——指令说把红色方块拿过来但画面里根本没有红色方块。这种对抗性评估能把VLA的幻觉率测出来也会让你对模型的实际能力有一个清醒的认识。6.5 别忽视推理延迟的累积效应一个WM想象多步的推理可能耗时几百毫秒单步看没什么但如果你的任务规划器要在100步内完成一个操作序列累积起来就是几十秒这在真实场景里是不可接受的。我的优化思路是把深度思考和快速反应解耦常规情况下用VLA做快速反射式动作只有当VLA的输出置信度很低、或者检测到任务关键状态切换时才调用WM做深度推演。这套快思考慢思考的混合架构在实际部署中非常实用。6.6 复现论文模型前先跑一个小规模消融现在很多开源VLA和WM模型动辄几十B参数直接复现论文结果需要几卡甚至几十卡大部分团队没有这个资源。我的建议是先别急着上大模型。把模型替换成一个小规模版本比如1B以内的backbone在你的任务数据上从头训练一轮跑通整个数据流程、训练代码、推理部署的闭环。等这个闭环稳定了再考虑换成大模型做scaling。我自己吃过亏一开始就冲大模型结果数据处理流程里有个bug白烧了几万块钱的算力才想起来先做小型验证。7. 最后说说我对这三个方向未来走向的个人判断做机器人AI这两年一个越来越清晰的趋势是感知-规划-控制这种分层架构正在被端到端多模态模型逐步侵蚀但侵蚀的方式不是一夜之间替代而是渐进式融合——VLA从直接动作输出向上侵蚀任务规划WM从未来状态预测向下侵蚀动作生成两个方向最终会在WAM这样的联合模型里交汇。现在NVIDIA的Alpamayo已经在辅助驾驶的开放场景里验证了VLA在实时动态任务上的潜力虽然它处理的对象是车不是机械臂但视觉-语言-动作在同一模型内闭环的可行性已经摆在那了。从工程实践的角度我给团队的选型建议永远是先诊断你任务的瓶颈到底在哪一环。如果你现在的问题是机器人能看懂但不会做那就上VLA如果是会做但经常做错因为对环境的理解太浅那就考虑在VLA旁边加一个WM做预演如果你有一个研究团队、愿意承担训练不稳定的风险、且手头有大量未标注视频数据那WAM是目前最有学术价值、也最有远期回报的方向。我自己的体会是模型架构的演进看起来是技术在迭代本质上是人们对智能的定义在不断加码。早期的机器人只要能动就算智能后来要求能感知再后来要求能听懂人话现在则开始要求行动之前先在心里演一遍——每一次加码都会催生一类新的模型架构WM、WAM、VLA其实都是在给机器人补常识和预见性这两门课。至于哪条路线最终胜出我不好说但有一点我很确定未来真正实用的机器人模型一定不是单一架构的独角戏而是一个让看想做无缝咬合的复合体系。至少从我这边的实验数据看把VLA和WM以合适的节奏组合起来效果比其中任何一个单独跑都要好一大截。