近半年来机器人学习领域最热的关键词就是VLAVision-Language-Action Models视觉-语言-动作模型。我读到的这篇综述《Vision-Language-Action Models for Robotics: A Review Towards Real-World Applications》把这一波VLA研究的来龙去脉梳理得相当彻底它不满足于罗列模型而是把“模型架构—数据工程—评测方法—真实部署”这条完整链路串起来专门讨论哪些成果只是实验室里的花拳绣腿哪些思路才真正经得起真实世界的考验。如果你刚入机器人学习这个方向这篇文章是最合适的总览地图如果你已经在跑VLA相关的训练和部署它也能帮你校准方向避免在错误的问题上浪费几个月时间。我会沿着综述的四个核心模块把关键结论和我的实际感受一起讲清楚。需要说明的是为了不让堆砌的模型名干扰焦点下文涉及具体系统时不逐个点名而是按照模型结构的内在差异用“自回归离散动作方案”“连续动作生成方案”“开放权重VLA”等描述来指代。这样讨论的本身就是方法论这个方向的人看到这些特征基本都能对号入座。1. 为什么机器人圈都在谈VLA分离式架构的三个断点1.1 传统“感知-规划-控制”管线的问题机器人操作在很长一段时间里都是“感知-规划-控制”三件套的天下。感知模块负责识别物体、估计状态规划模块在状态空间里解出一条可行轨迹控制模块再把轨迹跟踪成电机指令。这套架构每一项单独拿出来都很成熟但拼到一起后接口处一直在漏信息。第一个断点在“语言-语义”这个维度。自然语言指令里充满了难以落到几何空间的语义要求比如“把红色杯子放在盘子旁边注意别碰到刀叉”。感知模块输出的物体位姿和类别标签里并没有“别碰刀叉”这种约束的天然表达方式规划模块只能靠人为手写规则去近似写多了脆弱写少了漏掉。第二个断点是“规划假设已知场景”。传统规划器需要一个场景模型比如物体位置、障碍物形状再在这个模型上做运动规划。可真实桌面是堆叠、遮挡、反光的场景模型本身就是一次估计误差会在规划阶段被放大。遇到从没见过的物体、从没见过的布局基于规则和采样规划的方案常常直接失效。第三个断点是“闭环只闭环在控制层”。传统系统里的反馈回路基本只在控制器内部感知到的是“轨迹偏差多大”感知不到“这一步任务上的上个动作是不是做错了”。任务层面的错误几乎不会回溯只能靠人盯着。这三个断点的共同本质是模块之间的接口过于简陋只传递几何状态不传递语义和上下文。VLA模型的解法就是不再人为划分这些接口直接把语义理解、任务推理和动作生成揉进一个神经网络从像素映射到动作。1.2 VLA模型到底在做什么如果只用一个定义概括VLA就是输入摄像头图像单目或多视角和一条自然语言指令输出一串可以直接执行的机器人动作比如机械臂关节角序列、末端位姿轨迹、夹爪开合状态等。和过去常见的视觉语言模型VLM相比关键区别在于输出空间VLM的输出是文本是对世界的描述VLA的输出是动作是改变世界的指令流。这看起来只是把输出从“词表”换成“动作空间”但引发的工程问题完全不同——动作是连续的、高频的、需要闭环纠正的而且一旦执行错了后果可能是物理损伤。用生活化的类比来说VLM像秘书你问一句他答一句VLA像执行助理你不光要说清楚意图还要允许他在执行过程中频繁看现场、微调动作最后真的把事情办成。这个“动手办事”的属性决定了VLA不能只在静态数据集上评测必须在真实物理世界中闭环验证。1.3 这篇综述最扎心的几个判断综述在梳理完大量工作后给出了几个对我触动很大的判断。第一决定VLA能力上限的首要因素不是模型结构而是数据。在不同架构之间的性能差异往往远小于数据质量与多样性带来的差异。第二当前评测环境严重低估了真实世界的复杂度大量模型在固定桌面任务上刷到很高成功率一到新物体、新背景、新指令表达就明显退步。第三真实部署还非常依赖人的监督长时程任务的自主性和失败恢复能力几乎空白。这三个判断合在一起其实是在提醒所有做这个方向的人别急着调参刷榜先把数据采集和评测设计这些“脏活”做好才是走向真实世界应用的捷径。不少团队把大量时间花在模型结构微调上成绩却不理想原因往往就在这里。2. 模型架构全景从token化的自回归控制到连续动作流2.1 三段式架构视觉编码器、LLM骨干与动作头综述梳理的绝大多数VLA模型架构上都长得很像可以拆成三段视觉编码器、大语言模型骨干、动作头。视觉编码器负责把当前图像压缩成带有语义和几何线索的特征。选择哪个编码器不是随便定的要权衡分辨率、上下文长度和训练代价高分辨率有利于精细操作但会显著增加计算量和显存占用低分辨率适合快速推理却容易漏掉小物体或狭小缝隙的信息。不少工作尝试过不同的初始化方式和特征层选择最终结论往往是“编码器的输入预处理方式比编码器本身更重要”。大语言模型骨干是系统里最重的部分。值得注意的一点是并不是参数量越大越好。VLA的核心任务是“对当前场景做出合适的下一步动作”它需要的是即时响应和空间对齐能力而不是海量的百科知识。综述里对比的一些工作在骨干模型缩小到几十亿参数后配合精心准备的数据效果仍然不输更大的通用模型。这对算力有限的团队是个好消息别一听VLA就以为非得用上千亿参数的大模型。动作头是VLA特有的一层它把LLM输出的特征映射到机器人可执行的动作空间里。不同工作的最大分歧也集中在这里有的把动作离散成token用语言模型的方式自回归生成有的直接在连续动作空间用生成模型采样还有的在动作头之上叠了一层低层高频控制器让模型只输出“高层意图”由控制器负责具体执行。2.2 自回归离散动作实现简单但延迟是硬伤第一类主流做法是自回归离散动作。具体来说把关节角或末端位姿按一定精度量化成离散值一个动作向量就变成一串“动作token”模型像生成文本一样逐个预测。这套做法的最大优点是实现简单几乎可以无缝复用语言模型成熟的训练框架和推理工具数据也容易组织成指令-动作对的序列格式。缺点也很明显。量化会引入精度损失关节角分得再细也有误差在高频任务里这种误差会被累积放大。更棘手的是延迟自回归生成必须一个一个token地往后猜一段50个token的动作序列推理耗时就是普通语言任务的好几倍。对机器人来说这一帧你还在慢慢生成动作真实世界已经向前推进了闭环反馈就被打断了。维度自回归离散动作连续动作生成动作表示离散token量化有精度损失连续轨迹平滑可执行训练方式复用next-token框架简单直接需要生成式损失调试成本高推理延迟逐token生成延迟高单次前向采样延迟低闭环能力弱难以高频反馈强支持高频闭环适合场景低频任务规划、离线决策高频操作、动态环境打个比方自回归离散动作像用打字机写文章每个字符都精准但整篇写完要花不少时间。机器人这种“拿着螺丝刀修设备”的场景希望的是“手随眼动”而不是“先打完字再动手”。2.3 连续动作生成流量匹配与流式执行第二类主流做法是放弃token化直接在连续动作空间生成一段轨迹。代表性方向包括把动作建模成概率流用流匹配的方式一次性采样出整段动作序列。相比于自回归逐token生成这类方法有几个结构性优势一是单次前向就能得到一段轨迹推理延迟低得多更容易搭建高频闭环二是动作是连续的生成的轨迹更平滑天然适合机械执行三是可以对动作的不确定性建模知道哪些时刻的预测可信度较低。当然连续生成也不是没有代价。训练时需要的损失函数和采样器不再能直接套用语言模型那套next-token pipeline要单独设计对数值稳定性和训练动态也更敏感调试成本更高。综述里也提到当前已经有工作把“任务规划”和“动作执行”分层处理大模型负责低频决策比如判断下一步该抓哪个物体、该走哪条路线小模型负责高频执行比如20Hz甚至50Hz的连续轨迹优化。这种“低频规划高频执行”的混搭可能是现阶段平衡智能程度与实时性的最现实方案。2.4 动作表示和预测频率被低估的设计决策很多人第一次接触VLA会下意识认为“动作就是关节角序列”。看过综述后你会发现动作表示的选择本身就是一项关键设计你可以让模型直接输出目标末端位置输出整段末端轨迹也可以输出关节力矩或者只输出一个高层意图比如“向右平移5厘米”再由底层控制器去完成。不同的表示方式对应着完全不同的数据需求和学习难度。预测频率同样关键。一个5Hz的动作指令和一个50Hz的闭环微调对模型的推理速度和反馈机制要求完全不同。高频控制可以让模型及时修正小偏差但代价是要牺牲模型大小和任务推理能力低频规划可以把更多计算留给“思考”但容易在动态环境下偏离目标。综述里的多组对比都暗示了一个规律不少“成功率提升”其实主要来自更快的闭环反馈而不是模型变得更聪明。复现别人的系统时尤其要留意这一点不要盲目照抄网络结构先看对方的控制频率和数据分布是否和你匹配。3. 数据工程VLA模型的氧气也是最大的瓶颈3.1 真机遥操作数据为什么这么贵VLA不是靠纯文本和图像就能训练好的它需要“物理交互”数据真实机械臂在真实环境里根据指令执行动作的记录。采集方式主要靠人工遥操作一位操作员花几十个小时才能攒出覆盖十几个任务的数据集这还不算失败演示、任务切换、硬件损耗带来的额外成本。很多团队一开始不重视数据清洗结果训练出的模型学了一堆“坏习惯”比如总是先打开夹爪再伸向物体因为演示数据里包含了这个多余动作比如对某个固定相机视角过拟合换个角度就抓不准。综述里反复强调成功演示的比例、动作序列是否干净、指令是否精确标注这些质量因素对最终模型的影响经常比多增加几万条数据更明显。另外还有硬件异构问题。换一个机械臂型号、换一个夹爪甚至只是换一下相机安装位置旧数据就可能直接失效。跨本体复用是数据处理里最棘手也最值得投入的课题它直接决定了你的数据资产能不能在不同机器人之间迁移。3.2 仿真数据的供给与Sim2Real的沟既然真机数据这么贵很自然的想法是用仿真环境批量生成。仿真器可以大规模渲染场景、随机化布局和物体在数量上轻松碾压真机采集。但对精细操作仿真和现实之间的纹理、光照、物理参数差异会让模型“学会”识别渲染器特征而不是任务本质这个现象被大家称为Sim2Real gap。域随机化是应对这个沟的主流手段在仿真里随机改变纹理、颜色、光源方向、摩擦系数和物体质量逼模型提取任务相关的语义线索而不是依赖某一种视觉外观。综述给仿真数据的定位很明确它适合大规模学习“任务结构”比如怎么规划抓取顺序、怎么避开障碍但最终部署之前还是要用一小部分真机数据做“淬火”把仿真里学到的策略对齐到真实物理世界。纯仿真训练的系统一到真实环境就“见光死”几乎成了规律别抱有侥幸。3.3 数据质量和多样性优先级高于总量如果说数据工程有一个最值得记住的结论就是“任务多样性比重复数量重要”。同一个任务重复演示500次对模型能力的提升远不如让它在50个不同任务里各演示5次。原因是VLA要学的是“指令-场景-动作”三者之间的泛化映射重复同一个模式只会让模型记住一条路径而不是理解任务结构。另一个很容易被忽视的维度是语言指令的多样性。同一条演示轨迹如果只标注一句“把杯子放到盘子里”模型学到的语言关联就很窄如果同时标注“把红色杯子拿过去”“帮我清理一下桌面上的杯子”“把杯子放在盘子的左侧”模型的指令跟随泛化能力会明显增强。综述里多个工作的消融实验都印证了这一点。实操上可以考虑用大语言模型做指令改写把同一条轨迹扩写成几十种说法成本极低收益却很直接。3.4 数据缓存与重放稳定训练的幕后功臣不少人在读VLA训练细节时会看到“缓存重放”这个概念它说的是把历史数据按一定策略保留下来和新采集的数据混合训练。看起来不起眼但特别重要机器人的数据分布变化很快今天的训练场景和几周后的部署场景可能差很多如果不加缓存模型会在新数据上“遗忘”掉旧能力。综述中有工作专门对比过有无缓存机制的差异加了缓存之后长尾旧任务的保持能力大幅改善训练也更稳定。它是那种“不看论文根本想不到要做”的工程细节但对真实部署的价值非常大。对中小团队来说与其花大价钱堆算力不如先把数据缓存和重放策略做扎实。另一个容易被忽略的配套动作是数据格式统一同一套数据接口如果能让仿真数据、真机数据、第三方数据无缝混合你的数据管线就天然比别人的强壮。4. 从论文SOTA到真实产线评估体系与部署落地之间的落差4.1 现有评测基准的“实验室陷阱”论文里动辄百分之九十以上的成功率放到真实厂房或家庭环境里往往很难复现原因要从评测设计说起。目前的多数评测任务都建立在一套固定的“实验桌”上物体种类有限、位姿范围不大、语言指令来自固定模板、相机视角基本不变。在这种设置下模型很容易把“任务执行”退化成“对特定场景模式的模式匹配”一旦物体换成新品种、背景换成新桌面、指令换成新说法成功率就断崖式下跌。综述明确建议未来的评测至少要包含三类分布外测试跨物体泛化训练里没见过的物体跨布局泛化物体位置和桌面配置的变化跨指令泛化自然语言指令措辞大幅变化。这三项测试加起来才真正反映一个VLA在真实世界里的可用性而不是它在固定拍摄环境下的“背题”能力。维度实验室评测真实部署场景变化固定桌面、固定光源动态环境、光照多变指令来源模板化文本自然语言、口语化表达错误容忍允许重试、重置必须一次正确闭环需求弱离线评估为主强需要实时反馈关键指标任务成功率人工干预率、延迟、安全4.2 长时程任务与失败恢复VLA的“最后一公里”短任务上的高成功率不等于长任务的可靠性。一个拧螺丝任务如果拆成10个子步骤每一步都有95%的成功率乘起来也就剩约60%。更麻烦的是VLA目前缺乏“意识到自己错了并主动修正”的能力。执行流程通常是近似开环的第一步抓错了位置后面的动作依然照着原计划继续走直到最后一步才暴露问题。综述指出真实部署中必须引入外部安全监督比如规则层的碰撞保护、力觉异常检测、人工急停同时也要发展模型内部的自我监控比如对动作结果做不确定性量化一旦发现预测置信度低就主动暂停或重新规划。评测指标也需要跟着改变不要把“最终是否成功”当成唯一指标人工干预率、单步失误率、失败后的恢复能力这些数字更能反映真实可用性。一个能自主完成30步任务但每5步就要人搭把手的系统和另一个只能完成10步但完全不需要人的系统到底谁更接近落地答案不一定是前者。4.3 工程化部署的隐藏成本把VLA模型搬出实验室第一个直面的是推理延迟。模型越大语言和视觉推理越强但推理时间越长和机器人控制频率的冲突就越明显。一个25Hz的控制回路意味着每个控制周期最多只有40毫秒给模型推理稍微复杂一点的生成任务都很难塞进这个时间窗。这也是“低频规划高频执行”分层架构在工业界受欢迎的根本原因不是学术偏好而是实时性刚需。第二个坑是传感器标注和噪声。真实环境的相机标定会漂移光照会变反射会出现而大多数训练数据是在理想光照和固定标定下采集的。模型对“某个像素位置”的隐式依赖可能被标定误差直接击穿。部署前必须先做传感器鲁棒性回灌测试否则模型在固定场景里的亮眼表现到生产线上一周就会原形毕露。第三个是安全约束。模型输出的动作必须被限制在安全空间内比如关节限位、速度限制、防碰撞距离。这需要把安全层放在模型推理和电机执行之间作为不可绕过的过滤器任何一个环节出问题都要有兜底。学习模型不可能在所有输入上保持正确能做的就是在正确性不足时让系统安全地停在原地。5. 综述点名的开放问题以及我看好的实践趋势5.1 跨本体泛化一个模型能否驾驭所有机器人综述里反复出现一句话换一个本体成功率可能“打骨折”。机械臂的关节配置、夹爪的开合方式、相机的安装角度任何一点变化都会破坏模型学到的底层对应关系导致VLA的泛化能力严重缩水。这是目前横在所有团队面前最现实的工程难题。目前比较有希望的思路有两类。一类是统一动作表示比如让模型输出“末端执行器的目标位姿”而不是某个特定机械臂的关节角这样动作空间在不同本体之间就有了公共轴另一类是预训练加微调先用大规模多本体数据把模型训练成一个“通用操作底座”再在新机器人上用少量真机数据微调。综述里有多个工作验证了这种范式的数据效率可能是中小团队切入这个领域最推荐的路线。5.2 世界模型与新能力闭环另一个越来越明显的趋势是把VLA和世界模型结合起来。世界模型的意思是模型不仅学会“看到画面就输出动作”还能想象“如果执行了这个动作画面会变成什么样”。有了这种内心模拟机器人可以在动手之前比较多种候选动作的后果选成功率更高的那条路执行。这实际上是在给VLA增加一层内部的闭环验证。对真实世界应用来说价值很大物理世界有太多不可逆的操作与其犯错后用传感器发现再补救不如在动作生成阶段就过滤掉高风险选择。综述判断真正面向真实世界的VLA必须具备这种对物理规律的朴素认知否则就只能做静态环境下的“复读机”无法应对真实世界的动态变化。5.3 评测体系必须重建如果只能选一件事推动我会选评测体系的标准化。目前的论文报告指标确实混乱有人报任务成功率有人报平均完成时间有人只字不提人工干预有人不报告数据量和成本。这导致不同系统的结果根本不具备可比性读者很难判断一个SOTA到底是真的更强还是只是评测条件更宽容。更好的做法是建立一套透明的报告模板把任务复杂度分级、最小成功标准、数据来源、真机小时数、人工干预率、推理延迟、失败模式分析全部写清楚。这样一来哪怕成功率本身不够漂亮评测数据也足以帮其他人判断该技术能否复用到自己的场景。这件事单个团队做不了需要社区共同推进但它对行业的价值比任何一个具体模型都大。5.4 数据共享与开源生态最后一个必须谈的问题是数据孤岛。VLA的数据大多是各团队自己采集的格式不统一、本体不兼容很难汇集成一个公共训练集。相比NLP领域公开的万亿级文本数据机器人领域的数据规模和标准化程度差了好几个数量级这直接拖慢了整个领域的迭代速度。综述的看法很明确未来几年最大的突破点不是某个新架构而是能不能建立起跨团队、跨本体的数据共享机制。这当然很难真机数据涉及物理资产、安全和成本但哪怕先统一数据格式推出一批高质量开源数据集也足以把整个领域往前推一大步。对个人开发者来说现在就从复用现成的开源数据集和仿真数据入手同时建立好自己的数据管理规范是在这个方向上最务实的布局。把这篇综述读完之后我最大的感受是不要把VLA当成一个单纯的“模型问题”去解。它的上限被数据锁死它的可用性被评测锁死它离真实世界之间的距离主要来自工程细节和闭环设计而不是网络结构。以我的实操体会如果你想快速上手就先把三件事做好第一把指令标注的多样性提上去用大模型做指令改写几乎是零成本的高杠杆动作第二评测一定要留出分布外测试集哪怕成功率不那么好看至少别自欺欺人第三从一开始就记录人工干预率和推理延迟这两个数字才是真实部署最有价值的参考指标。等这三件事都落地再回头去看模型结构上那些五花八门的设计视野会完全不同。