1. 先把名字对齐WM、WAM、VLA到底在说哪三件事这几年做具身智能的朋友聊天时三句话离不开一个缩写世界模型WM、世界动作模型WAM、视觉-语言-动作模型VLA。我见过不少人把这仨混成同一个概念也见过团队花三个月训了一个VLA最后发现他们真正缺的是中间那层“想”的能力。今天这篇就把这三类机器人模型拆开聊从“看”到“想”再到“做”这条主线把它们各自解决什么问题、彼此什么关系、实际训练部署时怎么选怎么配一次性讲清楚。先说个有意思的事WM这个缩写在建工、物流和ERP行业里是另一个含义尤其在SAP系统里WM模块指的是仓库管理Warehouse Management配置清单、拣配策略之类的资料满天飞。如果你直接搜“WM机器人模型”前几页大概率全是物流系统集成商的博客。我这个坑踩过好几次后来搜资料时要么加“World Model”全称要么直接搜具体的代表作关键词比如“Dreamer”“JEPA”“RT-2”“OpenVLA”“π0”精度会高很多。先给一句总览适合第一次接触这些概念的读者WM关注的是“环境接下来会变成什么样”WAM关注的是“我如果做了某个动作世界会如何响应”VLA关注的是“现在这个状态下我该输出什么动作才能完成任务”。可以粗略理解成三种抽象层次WM在构建环境的“物理直觉”WAM在构建“行为推演器”VLA是“感知-决策到执行”的端到端映射。1.1 WM给机器人一张能“脑补”的环境沙盘世界模型这个词在强化学习里并不新鲜。传统RL里智能体要靠大量的环境交互采样才能学会策略而世界模型的想法是能不能让模型先学会描述环境变化的规律然后在模型内部“脑补”出一系列未来的画面用它来训练策略或者用它帮策略做规划。早期代表作是DeepMind的Dreamer系列和Google的DayDreamer它们在MuJoCo这些仿真环境里训练出一个隐空间中的动态模型给定当前隐状态和动作模型预测下一个隐状态然后把隐状态解码回像素画面或者直接用于价值估计。这套思路在仿真里效果相当好可以在不跟真实环境交互的情况下靠“想象”的方式训练一个能跑能跳的智能体。JEPA联合嵌入预测架构也属于这类探索只不过它更强调在表征空间里做预测而不是在像素空间里硬憋下一帧画面。放到机器人场景里WM的价值就很直观了如果机器人对“手松开杯子杯子会往下掉”这件事没有预判能力那它只能在杯子掉在地上的那一刻才从视觉观测里发现问题然后去捡碎片。如果有了世界模型机器人在决定“要不要松手”之前就先在脑子里把“松手后重力会让杯子加速下坠”这个过程推演一遍能省掉大量试错成本。这也是为什么好多团队把WM当作机器人“从看图到懂事”之间的第一块台阶。1.2 WAM从“看懂场景”到“推演动作后果”WAM这个名字近几年才逐渐高频起来但在概念上它跟“基于模型的规划”“动作条件视频预测”是一脉相承的。它比WM多了一个东西动作条件。普通的WM做的是“环境接下来会怎样”的无条件预测WAM做的是“如果我执行动作a环境会怎样变化”的条件预测。举一个最常见的例子倒水任务。一个纯WM看到玻璃杯倾斜到某个角度能预测出水流的轨迹而WAM能接收“继续倾角2度”这个动作输入然后预测出水口流出的水柱会怎样偏转、液面会涨到哪里。WAM把“动作”作为预测变量嵌进模型里这就让它天然具备了规划能力你想让液面停在一个位置那就在动作空间里搜索一个能让预测结果最接近目标的动作序列。在实际系统里WAM经常跟语言指令绑在一起语言告诉它“把蛋翻面”WAM在状态空间里推演出一系列子目标或抽象的移动轨迹再把这份“行动计划”交给下游执行器。简单理解WAM是“想”的那一层它负责把一个任务分解成具体的动作序列但它不一定关心动作序列如何精确到毫秒级关节力矩。1.3 VLA把语言指令直接翻译成关节运动VLA就是大家见得最多的那类模型了近两年的明星工作RT-2、OpenVLA、π0都属于这个范畴。VLA的输入是视觉观测加自然语言指令输出直接是动作序列中间没有显式的规划模块全靠一个大模型在端到端网络里隐式完成“理解-推理-决策-映射”的过程。用自动驾驶辅助驾驶场景举例NVIDIA有一个名为Alpamayo的开源VLA推理项目面向车辆物理世界部署验证输入前视摄像头图像和高级驾驶指令模型直接输出车辆的控制动作并且针对真实车端环境做了大量优化。这不是实验室演示而是把VLA从“看懂了”推进到了“能开了”这一步。VLA的核心逻辑是把“动作”转化成语言模型能处理的token流。最简单的做法是把动作增量量化成离散token像说话一样一个词一个词地往外蹦现在主流的做法是引入diffusion或flow matching动作头让模型在连续动作空间里生成更平滑、更准确的轨迹。VLA最大的优势是多任务泛化性强预训练阶段见过了海量互联网图片和文本语言空间和视觉空间的语义知识可以迁移到机器人操作任务里给一个没见过的新指令它比传统端到端网络更容易输出符合常识的行为。1.4 从「看」「想」「做」看三者的协同把这三种模型放在一条流水线里看分工就非常清楚了。WM负责看懂环境与推断状态转移提供“世界会怎么变”的背景知识WAM负责把任务意图转化成“我应该做什么”的抽象动作计划VLA负责把计划落实到“我的手、手臂、轮盘应该怎么动”的底层动作指令。这个分层模型参考了人类做动作的机制你看到一个杯子在桌沿看判断伸手过去会碰到还是够不到想然后协调肌肉去抓做。对机器人系统来说好的架构不是让一个超大VLA包打天下而是让每一层做自己最擅长的事头层感知用世界模型做视觉乃至物理规律的表征中间层用WAM做抽象规划底层用VLA做高频率执行。这样设计还有个额外好处上层模型的输出是抽象动作而非关节角度即使换了一台机械臂WAM照用只要重新训练底层VLA的映射头就行。2. 三层模型的技术解剖状态、推演与执行搞清楚三者的分工之后下一步得看它们内部到底是怎么搭的。很多同学问“为什么VLA这么能吃数据”“为什么世界模型训了半天一到真机就崩”这些问题的答案都在技术选型里面。2.1 WM层核心状态编码与动态预测WM的建模对象是环境状态转移函数。它的训练范式可以拆成两段第一段是状态表示学习第二段是动态预测学习。状态表示学习要做的事情是把高维的观测图像、点云、关节角度压缩成一个紧凑的隐向量h保留跟任务相关的信息丢掉光照、纹理这些无关信息。动态预测则在隐空间里学一个转移函数输入当前隐状态h_t和动作a_t输出下一个隐状态的分布。训练样本来自机器人在环境里的交互轨迹损失函数核心是预测误差也就是让模型预测出的隐状态尽量接近真实环境编码出的隐状态。这就是我在前面提到的Dreamer系列的做法先建一个隐空间世界模型然后用它做“规划”在想象中采样动作轨迹用价值函数评价这些轨迹选最优的一条执行。这套做法的代价也很明显模型学到的世界规律只限于训练分布内。仿真里遇到的物理规律是固定的一旦换到真实机械臂上摩擦、延迟、柔性形变都是仿真里没有的现实因素模型预测出来的“未来”就会越差越多导致所谓“分布漂移”。所以很多团队现在走的是“仿真预训练真机在线微调”的路让世界模型在真机上继续学它才能慢慢适应实际情况。2.2 WAM层核心把意图压成可执行的抽象动作WAM和经典任务规划最大的区别是它不再依赖手工定义的符号状态。传统规划器比如PDDL需要人先把环境抽象成符号化的对象和谓词比如“杯子在桌面上”“桌子在厨房里”这对开放场景是巨大的工程负担。WAM则直接从视觉和语言输入里学习“该怎么做”的抽象动作序列不需要人来写符号规则。从模型结构上看WAM往往是一个多模态Transformer视觉token、语言token和过往动作序列一起送入网络输出的是“下一步抽象动作”的概率分布。抽象动作可以是“把杯子抬高10厘米”也可以是“移动到目标位姿”它不具体到关节角度而是处在“任务级”和“运动级”之间的中间粒度。这个中间粒度很关键。如果动作抽象程度太高比如只输出“倒水”下游没法直接执行如果太低比如直接输出关节力矩那WAM就退化成了一个低层策略失去了“推演和规划”的抽象能力。好的WAM设计会把动作空间定义成末端位姿增量或速度指令这样既能跨不同机械臂复用又保留了足够的执行精度。再加上它是在大规模跨具身数据上训练出来的所以经常被当成VLA和其他感知模块之间的“粘合剂”。2.3 VLA层核心从像素到动作终端的端到端对齐VLA的结构可以拆成三块视觉编码器、语言-视觉联合主干、动作头。视觉编码器目前主流用的是SigLIP、DINOv2这类预训练好的视觉Transformer作用是提取特征语言部分通常直接用LLM本身的tokenizer和embedding视觉token和语言token会拼接到一起进入一个LLM主干网络PaliGemma、Llama、Qwen系列都有人用做跨模态融合。动作头则负责把主干输出的隐状态解码成动作序列。这里重点聊聊动作头。早期VLA走的是“回归”路线直接用一个MLP回归出末端位姿增量和夹爪开合。回归的缺点很直接动作分布往往多峰。比如一个杯子可能从左边抓也可以从右边抓两种都是正确答案回归模型只能取平均结果就是输出一个“中间位姿”两边都不挨着。现在主流方案是两类一类是动作离散化把每个动作维度的增量量化成256个bin让模型用分类的方式去预测问题变成了语言模型擅长的事另一类是diffusion或flow matching动作头直接在连续动作空间里生成分布每次采样都能得到完整的轨迹而非一个平均动作。π0用的就是flow matching动作头配合跨机器人数据预训练训练完之后动作的平滑度和成功率都比纯回归版本高出一大截。这条路的本质区别在于VLA不再把“动作预测”当成一个确定值回归问题而是当成一个“条件分布生成”问题这跟LLM生成下一个词的概率逻辑保持一致。2.4 一条任务流水线上的真实数据流拿一个具体任务来看整个人工流水线怎么跑任务指令是“把红色杯子放到托盘上”。第一步环视相机和腕部相机同时采集图像视觉模块做实例分割和位姿估计提取出杯子和托盘的三维位置。这个阶段如果接了WMWM还会基于当前位置预测杯子的抓取稳定性如果杯子重心偏移太多它会在隐空间推演出“抓起来可能滑落”的状态并发出警告。第二步WAM把语言指令解析成一个抽象动作序列接近杯子→调整抓取姿态→抓取→抬升→移动到托盘上方→放下。这个序列的核心是每一步都要满足“杯子不翻、机械臂不碰撞”的约束。第三步底层VLA接收当前帧图像和“接近杯子”这个抽象子目标输出每50Hz一组末端位姿增量控制机械臂平滑过去。每一步执行完WAM检查目标是否达成达成再推进到下一步。这套流水线的优势在于每一层订阅的中间结果都可以人工检查和介入。如果机器人抓歪了大概率是底层VLA的事如果规划出来的步骤“把杯子放到托盘上”但没考虑托盘被别的物体占据那就是WAM的推理缺了约束如果机器人连杯子在哪都识别不出来问题直接归因到感知层。这样定位Bug比端到端一个黑盒模型要高效得多。3. 实操VLA怎么训怎么在LIBERO上验证理论讲再多最后还要落到执行上。这一节我按照自己实际跑过的流程讲VLA的数据准备、训练策略、在LIBERO基准上的评测流程以及怎么解读评测结果。不同代码库细节会有差异但核心流程是一致的。3.1 先搞懂训练样本长什么样VLA的训练样本跟传统模仿学习类似但多了语言模态。每一条训练数据通常包含一个或多个视角的RGB图序列、一个语言指令、以及动作序列。动作序列的格式比你想的可能更灵活有人用末端位姿增量三维位置加三维姿态加夹爪开合有人用关节空间增量还有人直接存目标关节位置和速度。动作格式的选择直接影响训练难度。末端位姿增量的好处是换机械臂后可以重新映射但坏处是模型永远学不会“关节限位”“奇异点”这些硬件约束关节空间增量学起来更贴近真实机械臂但换个构型机械臂模型基本就废了。我的建议是如果只做单一机械臂任务直接用关节增量成功率更高如果目标是跨平台泛化那就用末端位姿增量并且把控制频率也作为输入的一部分。数据质量是另一个大坑。公开数据集比如Open X-Embodiment里有大量双臂任务、单臂任务混合的数据语言指令质量参差不齐。清洗数据时的核心原则是指令必须跟动作意图强相关、动作序列必须完整覆盖任务、末端的夹爪状态和物体交互不能有冲突。有些指令像“pick up the red block”和观测画面中根本没有红色块这种噪声数据会让模型学到“看见红色块就乱抓”的副作用宁可直接删掉。3.2 训练VLA的四个阶段训练VLA不是拿数据直接从头训一个Transformer那对算力和数据量都不现实。实际做法分四个阶段。第一阶段加载预训练主干。视觉编码器用SigLIP或者DINOv2的权重语言-视觉融合主干用开源LLM权重比如PaliGemma或Llama的基座版本。这一步基本不花钱但要注意分辨率对齐问题预训练视觉编码器通常是在224x224或336x336的图上训练的如果你在采集数据时用的是高分辨率图直接resize会损失大量细节。第二阶段冻结主干训练动作头。把视觉编码器和LLM主干全部冻结只训练动作头目的是让动作头先学会“把特征向量映射成合理动作”这件事。这个阶段非常快一般几万步就能让动作输出shape大致正确。这个阶段最容易犯的错是学习率开太大因为随机初始化的动作头会产生巨大的梯度噪声把我见过一上来就全参数微调的项目直接训崩的案例。第三阶段解冻主干做全量微调。在动作头稳定之后把所有参数一起拿出来微调。这时候要用小学习率并且配合低通滤波后的动作标签防止模型去拟合动作序列里的高频抖动。数据增强要克制随机裁剪要控制在不会裁掉目标物体的程度颜色扰动不能太重否则视觉-语义对齐会被破坏。我自己的经验是动作头阶段用1e-3级别的学习率全量微调时降到5e-5左右才算稳。第四阶段目标领域微调。在用户指定的真实场景数据上继续微调这个阶段数据量不需要大几百条高质量演示足够。如果目标场景和预训练分布差异很大比如从仿真桌面场景到户外农田环境就要适当提高领域数据比例同时保留一部分通用数据做重放避免灾难性遗忘。3.3 在LIBERO上测试VLA的标准流程LIBERO是目前评估VLA最重要的模拟基准之一它基于MuJoCo物理引擎场景是一台Franka机械臂加上多种厨房桌面任务。数据集按任务属性分了几个大套件LIBERO-Spatial考验空间关系理解LIBERO-Object考验目标物体区分LIBERO-Goal考验长序列目标导向LIBERO-100则是一百个任务的集大成者。测试VLA的流程可以总结成五步。第一步把训练好的模型封装成标准的policies接口输入是观测图像和语言指令输出是动作序列。第二步确定评测的导航参数图像分辨率必须和训练时一致控制频率也要一致很多复现失败的原因就是评测环境里控制频率是5Hz训练时却是10Hz模型看到动作间隔变化直接崩掉。第三步跑rollout每个任务跑50到100个回合要注意固定随机种子不同代码库的随机种子机制不一样我强烈建议至少固定三组种子避免单组种子的偶然性。第四步记录指标标准指标是成功率也就是“在最大步数内完成目标”的比例更细的指标包括平均完成步数、平均重置次数、任务中累计奖励。第五步把所有回合的失败画面抽出来看分类统计失败原因这一步看起来费时间却是调模型最重要的输入。一个容易被忽视的细节是动作归一化。训练时用的动作增量范围通常都做了归一化到-1到1之间评测环境返回的原始动作空间可能范围完全不同如果评测端忘记反归一化机器人会做出微观但疯狂的抖动动作。十年老工程师也栽在这上面过。3.4 基准报告的正确打开姿势看到一篇论文报LIBERO成功率95%先别急着羡慕。不同论文之间做对比有个大坑评测设置不完全一致。有的论文只测了LIBERO-Spatial有的测了前三个suite但没测LIBERO-100有的固定种子但评测回合数不同这些都会让成功率数据差出三五个点。我一般会看三样东西一是是否报告了每个suite单独的成功率而不是只报一个平均成功二是是否说明了评测回合数和随机种子策略三是失败模式分布是否能对上任务难度的直觉。还要警惕“任务内过拟合”。VLA的记忆能力很强训练数据里同一任务出现过几十次它就学会了背诵场景布局而不是泛化理解。判断办法很简单把测试任务的物体初始位置在合法范围内随机打乱如果成功率直线下降说明模型大概率在背场景没有真正学到空间推理。真正好的评估要在训练分布边缘附近做压力测试比如换一换托盘位置、换一个颜色的杯子看看模型泛化能力到底有多少。4. 横评WM / WAM / VLA 面对不同任务该怎么选技术原理说完了实操流程也写完了接下来是大多数人最关心的选型问题。我见过很多团队一上来就上80亿参数的VLA最后部署到现场发现一个小型工控机根本跑不动也见过一些做传统规划的老工程师对WAM完全不信任坚持写逻辑规则。这两类极端都不对关键看任务、数据和算力约束。4.1 三个模型的多维度对比直接上一张表信息密度比较高建议收藏。对比维度WM世界模型WAM世界动作模型VLA视觉-语言-动作模型核心能力预测环境状态转移推演动作后果规划抽象动作序列端到端输出底层动作输入端观测可含动作观测语言动作条件观测语言指令输出端下一时刻状态/表征抽象动作/子目标关节或末端动作序列训练数据大规模交互轨迹无需标注语言带动作标签的交互语言指令视觉语言动作三元组代表工作Dreamer系列、JEPA路线动作条件视频预测、分层规划VLART-2、OpenVLA、π0、NVIDIA Alpamayo优势能推演未来适合做规划预判兼顾抽象推理和动作可执行性泛化能力强多任务灵活切换劣势真实环境分布漂移严重抽象动作定义难跨域不稳定数据饥渴训练和部署成本高适用场景仿真预训练、模型预测控制复杂任务分治、跨机械臂迁移单任务多场景泛化、直接闭环操作表格里有一条隐藏信息三者的边界正在模糊。越来越多的VLA内部其实包含了一个隐式世界模型通过 next-token预测的方式来建模“动作之后观测会变成什么”而WAM和VLA的区别在工程实现上往往只是动作输出粒度不同。选型的时候不要太纠结名字要看你的任务瓶颈在哪一层。4.2 选型判断逻辑我的建议是按三个问题来选型而不是按“哪个最新选哪个”。第一个问题任务到底需要不需要语言交互如果只是固定轨迹的插拔装配没有语义变化直接上传统视觉伺服加规划器都比VLA稳没必要追新。如果需要频繁变换指令比如“今天往红色杯子里倒水明天往蓝色盒子里放螺丝”那VLA是天然适合的选择。第二个问题你会不会有明显的长时程规划需求比如煮一顿包含十多个步骤的饭每一步之间有严格时序和因果依赖这时候纯VLA容易在长时序上下文里丢失信息最好加一层WAM做任务分解VLA只负责当前子目标的执行。第三个问题你的算力和数据预算到什么级别几十B参数的VLA要A100集群才训得动边缘部署还要做量化蒸馏如果团队只有几张卡老老实实选小模型加世界模型做MPC反而效果更好。还有一个场景值得单独拎出来说仿真到真机的迁移。如果你打算在MuJoCo或者Isaac里大量仿真预训练再迁移到真机那WM几乎是必需环节。它的状态预测能力可以帮助策略在仿真阶段就学会“失败前兆”提前干预。但要注意仿真和真机的动力学差异会让WM的预测在真机上一开始就偏这时候要设计在线自适应机制用真机数据持续修正模型参数而不是“训完就固定”。4.3 部署成本、算力约束与一个真实案例部署成本这块讨论最热烈的VLA反而是最难落地的。拿RT-2级别的模型来说参数量百亿起步单次推理都要卡级GPU真机部署基本上要在工控机里塞一块高性能显卡成本一台机器多出大几千块。就算硬件能接受功耗和发热在移动机器人平台上也是硬约束。开源的π0模型相对轻量很多训练好的checkpoint能在消费级显卡上做推理但要全量微调仍需要多卡服务器。如果目标是嵌入式部署常见做法是用量化和知识蒸馏把模型压到INT8甚至更低精度同时对动作头做定点化优化。这里的经验是先测全精度FP16模型的动作分布范围再做对称量化和非对称量化对比优先保动作头精度视觉编码器压缩到INT8掉点一般不明显。这里必须提一下NVIDIA Alpamayo项目。它是面向辅助驾驶场景的开源VLA推理模型面向车辆物理世界部署验证公开资料显示它重点解决的就是“VLA在车端算力受限环境下如何可靠落地”这个问题。它做了一件我觉得很有价值的事不是把整个VLA一股脑塞进车机而是通过专用的推理框架对跨模态注意力、动作解码做针对性的算子优化让VLA推理在保障帧率的情况下跑在物理车辆上。这给了一个启示VLA的真正产品化瓶颈不在模型结构而在推理引擎和硬件适配。你模型训得再好实际部署时帧率掉到2Hz机械臂动作就会一顿一顿任务成功率反而不如一个简单的PID环形控制。5. 常见问题与避坑技巧实录写博客这么多年我越来越觉得“翻车记录”比“成功经验”值钱。下面这些坑有的是我自己踩过有的是帮朋友调试时遇到的一个个整理出来给后面的人省点时间。5.1 训练VLA最容易被忽视的几个细节第一个坑动作增量不做归一化。动作头的输出如果直接是原始像素坐标或真实物理量数值范围跟视觉特征完全不在一个量级梯度会非常神经质。最佳实践是先统计数据集的动作均值和标准差然后做标准化推理时再反标准化送回环境。忘掉这一步轻则训练不稳重则整个loss曲线一条平线。第二个坑图像分辨率跟预训练不一致。预训练权重对分辨率极度敏感你从OpenVLA加载权重它训练时用的图像分辨率大概率不是你自己采集的1920x1080。正确做法是先resize到预训练对应的分辨率再做中心裁剪或者填充。不要天真地改注意力模块的position embedding没有充分调参前这种改动几乎只会让效果变差。第三个坑语言指令太短缺少上下文。测试时如果你给一句“抓球”模型可能会抓错因为它分不清“球”指哪个球。实际部署时指令最好带上空间限定比如“抓桌面上蓝色的球”。训练数据里如果指令过于精简模型学到的是“看见任何球状物体就去抓”这跟场景泛化没什么关系纯粹是数据偏差。第四个坑评测时不固定随机种子。同一份checkpoint同一段测试代码只改一个随机种子成功率能从82%跳到93%。别高兴得太早也别慌张——先多跑几组种子看平均数和方差再下结论。有次我复现别人的论文对方报82%成功率我用同样配置跑出来只有64%一度以为是代码写错了后来发现对方固定了一个对任务特别有利的种子。这不是学术造假只是“对任务有利的种子”和“随机种子”在报告里都叫seed阅读论文时要留个心眼。5.2 世界模型为什么在真机上容易漂移世界模型也好WAM也好只要是做“预测未来”的模型都逃不过一个魔咒预测误差会随着推演步数指数累积。训练时模型可能每一步的预测误差只有0.5%但推演50步之后误差就大到状态完全失真严重时直接撞墙。真机上问题更严重因为现实世界充满不可建模的因素线缆的甩动、软物件的形变、关节的摩擦非线性这些在仿真里可以忽略到了真机就成了压垮预测准确性的最后一根稻草。缓解办法有几种一是只做短程推演让WM只预测未来几步每一步都拿真实观测做校准别让它长期“闭眼开车”二是用“latent model model-based MPC”的组合在隐空间做规划而不是在像素空间做规划前者受观测噪声影响更小三是做在线自适应让世界模型在真机运行过程中持续用新观测做增量更新。得说一句泼冷水的话这些都只是缓解没有根治。物理级别的预测误差累积问题目前没有理论上的完美解法。所以工程落地时我的原则是把世界模型用在“风险提示”和“短程规划”上而不是指望它替代安全机制。真正的高可靠系统一定还需要保守的碰撞检测和多级冗余判断。5.3 常见问题速查表问题现象可能原因排查方法VLA训练loss降不下去动作标签未归一化或视觉token分辨率错误检查动作均值和方差比对预训练图像尺寸真机上动作一顿一顿推理帧率不足或控制频率不匹配量化压缩模型确认推理频率至少是控制频率的2倍换一个场景成功率暴跌模型记住了场景布局没有学到空间推理随机打乱物体初始位置多测几种布局再下结论世界模型推演几步就失真预测误差累积或环境分布偏移缩短推演步数加入真机在线微调WAM输出子任务顺序乱语言理解能力不足或数据里指令太混乱清洗数据保证指令与子任务强对齐必要时换更强LLM主干双臂协调任务频繁冲突单臂模型被直接复用缺少双臂协同上下文用跨具身数据预训或在双臂数据上微调注意力层LIBERO测试和论文结果差很多随机种子/分辨率/控制频率不一致逐项核对评测配置查看对方是否公开评测脚本最后再说几句实在话模型选型这件事没有银弹。我自己刚开始做机器人的时候也疯狂追新模型看到哪篇论文效果好就赶紧换上试试结果大多数时候是适配成本高、效果还不稳定。做了几年之后才慢慢体会到真正有价值的不是模型本身而是你对自己任务的理解有多深——你的任务瓶颈在感知、在规划还是在执行你的算力能支持多大模型你的数据质量到底行不行这三件事想清楚了选哪个模型根本不用纠结。如果让我给一条最实用的建议那就是先把VLA跑通一个最小可用的闭环再逐步叠加WAM做任务分治最后用WM做状态预测和风险预警。从“做”到“想”再到“看”这个顺序比反过来要稳得多。毕竟机器人先得会动才能谈得上懂事。