如果你关注具身智能方向多半已经刷到过这类演示一个机械臂接到一句“把红色马克杯放到蓝色托盘上”看一眼桌面伸手握住杯子平稳移动精准放下。这个在三年前还显得很科幻的画面现在已经成为机器人操作领域反复展示的标准动作。支撑这一连串行为的模型正是VLA——视觉-语言-动作模型Vision-Language-Action Models。《VLA Models: Concepts, Progress, Applications and Challenges》这篇论文就是专门对VLA的概念、进展、应用和挑战做系统性梳理的综述。我通读之后最大的感受是它把VLA从“热门词汇”还原成了“一套有明确边界的技术方案”既适合刚入门的研究者建立全局认知也适合正在做机器人落地的工程师用来对照自己的技术选型。这篇内容就是我对论文核心思想的拆解加上一些在实践视角下的补充判断。1. VLA模型到底在解决什么问题从“看懂画面”到“执行动作”的范式跃迁VLA这个名字拆开看并不神秘视觉Vision负责读图语言Language负责理解指令动作Action负责输出物理世界的操作。但真正值得深挖的是为什么要把这三个能力塞进同一个模型而不是像传统机器人系统那样分成独立的模块。1.1 传统机器人系统的“感知-规划-控制”三段论问题出在哪稍微接触过机器人开发的人对这条经典流水线都不会陌生先用目标检测、语义分割、三维位姿估计模块处理相机数据得到一个结构化的“世界模型”然后由任务规划器把“把桌子收拾干净”这样一条高层指令拆解成“移动到桌边—识别杯子—抓取—放到指定区域”这类子步骤最后由运动规划和底层控制器把每一步变成关节空间的轨迹并执行。这套体系运转了几十年本身非常成熟但它有一个结构性问题每一层都是独立优化的层与层之间只传递固定格式的中间结果。感知一旦发生误检下游规划模块拿到的就是错误输入而且它没有任何机制去修正这个错误。语言指令与视觉信息的交互也偏“模板化”——更像是关键词到子任务的映射很难处理口语化、多轮、带隐含条件的指令。VLA的思路则是直接把图像像素、语言指令和机器人动作放进一个统一的神经网络模型里联合建模。通俗点说传统方法是“眼睛、大脑、手臂各干各的靠开会沟通”VLA是“让大脑直接接管眼睛和手臂的信号”。这种设计不追求每个环节都做到极致但强调整体端到端的最优化。1.2 VLA论文给出的定义与组成要素这篇综述对VLA的界定很清晰VLA是一类以视觉语言模型为基础架构、以机器人动作序列为输出目标的大规模多模态模型。它不限定具体的网络结构只要满足“视觉输入语言指令→动作输出”这个统一范式都可以归入VLA的范畴。拆开来看一个VLA系统的核心要素包括观测输入通常包括一个或多个视角的RGB图像、深度图像、机械臂本体状态必要时包含历史帧语言指令自然语言形式的任务描述例如“打开中间的抽屉”或“把螺丝刀放到右边的盒子里”动作输出末端执行器的位姿轨迹、关节角序列或导航场景下的移动指令训练数据由“互联网级图文数据”和“真实机器人遥操作轨迹”两部分构成训练范式先在视觉语言任务上做大规模预训练再用机器人轨迹数据做微调或联合训练。理解这五个要素很重要因为后面谈到的几乎所有进展和挑战都围绕其中某一个要素展开。比如模型架构怎么改、数据规模怎么堆、微调策略怎么选本质上都是在调整这几个组成模块的组合方式。1.3 与VLM和大语言模型的关键差异最后一个字母改变了任务本质很多人会把VLA看作视觉语言模型加一个“动作输出头”的简单扩展我觉得这是最需要纠正的误解。VLM和大语言模型的任务是生成文本目标是“理解并表达”VLA的任务是生成动作目标是“通过物理交互改变世界状态”。这个区别带来三个连锁影响。第一VLA必须考虑闭环——它输出的动作会改变环境状态而下一步决策要基于新的视觉输入这与一次性生成一段文本完全不同。第二模型的评估指标变了判断标准是任务成功率而不是文本流畅度或回答相关性。第三错误代价完全不同模型在对话里说错一句话可以重新生成在物理世界里一个错误动作可能撞坏设备或伤到人。我读这篇综述时印象很深的一句话是VLM是“看懂了然后说出来”VLA是“看懂了然后做出来”。最后一个字母的差别决定了整个建模逻辑、数据需求和安全要求的全面改变。2. 架构拆解VLA是怎么把一套连续动作“塞进”大模型里的概念讲清楚了下一个很实际的问题是大模型天生只会输出离散的文本token而机器人需要的是连续的关节角度或末端位姿这两者怎么对接2.1 动作表征方式把连续轨迹“翻译”成模型能学的信号论文花了相当篇幅讨论动作表征这是VLA区别于普通多模态模型的核心技术点。目前主流的做法可以分成两大类。第一类是离散动作token。把连续的动作轨迹——例如末端位姿的七维向量位置加姿态——通过量化方法离散成若干个“动作单词”组成一个动作码本然后用语言模型惯用的交叉熵损失来预测下一个动作token。这样做的好处是训练范式统一模型可以当作一个“生成了语言之后再生成动作”的序列生成任务来处理实现简单。坏处是离散化会引入量化误差码本设计得好不好直接影响动作的精细程度。第二类是连续动作回归。模型直接在一层动作专家网络中输出连续的七维向量或一段轨迹用均方误差或L1损失训练。好处是与机器人控制接口天然对齐没有量化损失动作更平滑坏处是和语言模型惯用的交叉熵训练目标不搭直接回归时模型头容易不稳定训练波动大。两种方式之间还有一种折中方案被论文提到离散化负责给出粗粒度的“行动意图”连续回归负责输出细粒度的“执行修正”相当于先选挡位再微调油门。我自己在实验里的体会是现阶段做精细操作时连续回归往往更容易上手但模型训练要更小心做大规模预训练时离散token的统一性优势又会体现出来。所以这不完全是二选一取决于你的数据规模和落地场景。2.2 视觉语言骨干怎么选从CLIP嵌入到完整VLM动作表征解决的是“怎么输出”接下来要解决的是“怎么理解输入”。VLA的视觉语言骨干经历了明显的演进。早期方案是用CLIP这类模型提取视觉和语言的联合嵌入把嵌入向量作为额外条件输入到策略网络里。优点是轻量、稳定但缺点也很明显CLIP的嵌入对物体级别的关系理解尚可缺少细致的空间位置关系。你让它知道“有一个杯子和一个托盘”没问题要它精确定位“杯子的抓取点在哪个坐标”就不行了。目前的主流方案是直接用完整的开源VLM作为骨干不冻结视觉编码器让图像token和语言指令在Transformer内部做充分的交叉注意力交互。这样模型可以获得像素级别的位置感知能力也可以利用VLM在互联网文本上积累的开放词表理解能力。论文也特别指出视觉编码器的选择存在明显权衡使用高分辨率视觉输入和更小的patch size能显著提升精细操作表现但视觉token数量会随之暴涨推理延迟也跟着线性增长。这条主线其实反映了一个核心逻辑VLA理解能力的上限很大程度上由它的视觉语言底座决定。换一个更强的VLM往往比在策略头上做更多工程优化更有效。2.3 策略头与低层控制器的交接面被很多人忽略的“最后一公里”架构上还有一块很容易被忽略就是VLA输出动作之后怎么和真实机器人对接。任何VLA都不能直接插进千赫兹级别的伺服控制环路——VLA的推理时间在数百毫秒到数秒而关节控制器需要毫秒级的反馈频率。实际工程中VLA输出的通常是一段“动作块”也就是预测未来几十步的执行器位姿序列。这个序列随后交给一个经典的轨迹插值器或笛卡尔阻抗控制器由低层控制器完成高频平滑跟踪。在这篇论文里这部分内容不是重点但我觉得对动手做项目的人来说恰恰很关键。关于动作块长度说实话没有标准答案。太短的话模型需要频繁推理端到端延迟高动作容易抖太长的话模型可能在途中已经偏离目标后续也没机会修正。我习惯从30到50步起步结合实际执行速度和任务复杂程度去调节这算是踩过不少次坑之后的经验。3. 进展脉络盘点从“会聊天的模型当教练”到“原生动作模型”任何技术路线都不是凭空出现的VLA能成为今天的热点经历过很清晰的演进路径。这篇综述把这部分进展整理得非常有价值我按时间顺序重新梳理一下。3.1 萌芽期语言模型当“教练”视觉模块当“眼睛”在真正端到端的VLA出现之前很多工作已经把大语言模型引入机器人流程中只不过它们承担的是“任务规划器”的角色。比如给定高层指令“把桌子收拾好”语言模型会输出一串子步骤移动到桌边、识别散落物品、放到收纳盒里、确认完成。下游则继续采用传统视觉算法和规划工具逐项执行。这条路线本质上没有改变机器人的整体架构语言模型只是被当作一个更聪明的规则引擎。它对高层指令的理解有进步但中间的交互是“文本到文本”的视觉信息和语言指令没有在token级别融合。所以一旦指令变得抽象比如“像往常一样整理”或者环境状态和语言描述不完全一致这条管道就很容易掉链子。3.2 端到端动作生成的关键实验数据规模成为第一性变量后来的发展是思路上的重要转折不把语言模型当教练而是直接把视觉、语言、动作放进同一个模型里训练让模型自己学会从像素和指令直接生成动作序列。论文着重提到一系列端到端实验的里程碑意义。这类模型不再为视觉理解和任务规划单独设计接口大家开始意识到机器人轨迹数据规模是决定模型能力的首要变量——不是单纯增加轨迹数量就够了还要增加任务种类、场景数量和指令表达的多样性。几十万条轨迹训练出来的模型在口语化指令条件下的表现已经远远超过小规模模仿学习。更关键的是这个阶段出现的开源VLA项目让学术界和工业界第一次可以用有限预算复现VLA效果。做法是用一个开源VLM作为骨干在模型末尾接上动作专家模块再用低秩适配的方式在机器人数据上微调。这改变了VLA“只能看不能用”的局面大量团队得以在此基础上做二次开发。3.3 数据混合、联合训练与“遗忘危机”这里要特别聊一个论文里点到但日常讨论中容易被忽略的问题灾难性遗忘。如果在海量机器人数据上微调时把互联网规模的语言知识完全丢在一边模型会逐渐“忘记”很多通用世界知识导致对没见过的名词、组合概念和常识情境理解力下降。解决办法是co-training也就是把视觉语言任务和机器人任务按一定比例混在一起训练让模型在学习动作的同时不忘文本世界的“老本行”。另一个更省资源的方案是冻结骨干、只更新低秩适配参数让基础模型的理解能力保持稳定。这个方法的性价比极高我接触过的不少实操项目都是用这种方式做的——说白了一句话预算有限就别随便全参数微调。4. 应用图谱论文盘点出的VLA落地场景与合理边界对比概念和进展很多人更关心的是VLA到底能干什么、哪些场景已经具备落地条件。论文这部分梳理得很客观我把代表性场景分三类来分析。4.1 操作任务最集中的落地场景论文盘点的应用案例绝大多数集中在桌面操作和移动操作这两类任务上。桌面操作包括抓取、放置、堆叠、倒水、开抽屉、叠毛巾这类动作移动操作则是在底盘或人形平台上完成“走过去拿起来送过来”的组合任务。这些场景有一个共同特点物体相对固定、相机视角稳定、指令语义清晰。比如“把红色马克杯放到蓝色托盘上”目标物和方位都是明确可验证的。这也是目前开源VLA最容易复现、评测指标最好看的任务类型。如果你想快速判断一个VLA模型做得好不好先从桌面抓取放置类任务入手是最合理的。不过要泼一盆冷水演示视频里的“成功”是经过筛选的。你去看完整测试记录就会发现同一模型在任务成功的同时也会出现抓偏、中途掉落、回复式抖动这些问题。论文里报的平均成功率本质上是一个包含大量失败样本的统计结果。4.2 移动导航与多步长时程任务当任务跨度拉长——比如“去厨房拿一罐可乐再放到茶几上”——VLA就不能只充当一个操作策略而是要承担更接近“环境交互大脑”的角色。论文认为这类任务需要把VLA与拓扑地图、语义地图甚至外部记忆模块结合由VLA负责理解当前环境和决定下一步行动由导航模块负责安全移动。这条路的挑战主要在于长时程记忆和错误恢复。目前VLA在几十步内的任务表现尚可一旦超过这个范围记忆衰退和累计误差就会明显放大。我的判断是短期内指望VLA单模型解决长时程任务不现实更务实的方案是在外部加一层任务状态跟踪器把“模型已经做到哪一步”显式记录下来出错时能够回溯。4.3 从仿真到真实S2R的鸿沟仿真环境在数据生成和测评效率上天然有优势但论文也明确警告仿真训练得到的VLA在迁移到真实机器人时存在系统性偏差。视觉层面的材质、光照、纹理差异之外物理层面还有摩擦力、质心、柔性变形等大量难以模拟的因素。我见过不少团队在仿真里跑通100%成功率的VLA真机一上来就频繁翻车。解决的关键不是盲目加随机化而是建立“仿真预训练、真机少量精调”的数据策略先在真机上小规模采集一组代表性的轨迹确认基础动作能达到可接受水平再回头用仿真放大数据规模。顺序如果反了很容易浪费大量算力和调试时间。5. 论文点名的五大挑战数据、泛化、实时性、安全性与评测综述的价值一半在于梳理成就另一半在于坦诚地指出问题。这章是论文里最有含金量的部分我结合自己做项目的体会逐条解读。5.1 数据困境机器人轨迹数据为什么这么“金贵”互联网不缺文本也不缺图片缺的是带有物理因果关系的动作数据。一条可用的机器人轨迹需要人用遥操作设备一点点采出来不仅消耗硬件寿命还要搭场景、写脚本、标注指令成本极高。更麻烦的是数据分布极度不均匀。不同机械臂本体、不同相机位置、不同夹爪类型同一任务采集出来的数据格式完全不同无法直接互相复用。这不像语言模型可以靠爬虫堆数据VLA的数据增长是缓慢而昂贵的。论文提到的应对思路包含仿真数据、数据增强、跨机构共享数据以及利用人类操作视频。人类视频是最诱人的方向——互联网上海量的“人做家务”视频不需要遥操作成本但人和机器人的自由度、力觉、视觉尺度差异仍然是一道难以跨越的鸿沟。现阶段只能当辅助不能当主力。5.2 泛化问题看起来聪明换一个环境就“失忆”VLA对分布内任务和指令组合的泛化能力其实不错但遇到场景外观变化、物体材质变化、光照变化成功率就会明显下降。这不难理解大规模模型的泛化能力本质上是数据覆盖面的体现数据里没见过的视觉分布模型再聪明也没法凭空学会。论文强调了一个很重要的方法论建议在评估VLA泛化能力时不要只报一个平均任务成功率而是分维度拆开分析——视觉外观泛化、指令表述泛化、物体类别泛化、场景布局泛化。这样做能清楚定位短板到底出在哪个环节也避免被一个“看起来还行”的平均数误导。5.3 实时性大模型推理速度与机器人控制频率的冲突如果不做动作块预测指望VLA在闭环控制里一帧一帧地输出机器人动作会出现肉眼可见的卡顿和迟滞。这是因为每一次推理都要重新跑一遍大模型的视觉语言主干延迟轻松超过几百毫秒而机器人执行动作的底层控制器频率要求远高于此。论文给出的解决方向就是前面提到的动作块机制让模型“一次想好一小段动作”底层交给高频控制器去执行。我在实践中还会再加一道保险用一个快速的低层状态机或安全校验器来监视执行过程一旦发现动作偏离预期就不等待VLA重规划先触发停止或回退动作。这个设计虽然多花了一点工程成本但对系统稳定性的提升是决定性的。5.4 安全问题物理世界不给你“重新生成一次”的机会这是论文中反复强调、但在各种演示视频里最常被忽略的问题。大模型在对话里说错一句话没什么后果机器人在物理世界里做一个错误动作轻则任务失败重则损坏设备或影响人身安全。论文承认当前VLA普遍缺少风险意识和不确定性估计。模型在遇到分布外输入时更容易做出一个自信的错误动作而不是停下来输出“我不确定该怎么做”。这一点和人的直觉相反——很多模型越“自信”越危险。实践中的应对思路是设计多层安全机制物理层面限制关节力矩和末端速度规划层面限制动作空间边界控制层面设置急停开关。同时尽量让VLA输出目标层面的运动轨迹而不是直接输出未经验证的原始扭矩或关节力矩指令。安全不应该是一等公民而应该是底层约束。5.5 评测问题模拟器得分和真实可用性之间的“代差”从研究和工程对照的角度看评测可能是当前VLA领域最卡脖子的环节。仿真环境可以高效产出成绩——任务成功率、完成步数、路径效率——但仿真器的“成功判据”往往过于宽松放进真实世界后意义要大打折扣。真实评测虽然可信度高但成本高、周期长、结果难以在不同实验室之间复现。论文的立场是当前亟需建立相对统一的离线评估方法和跨环境联合评测体系。我补充一个个人观察VLA社区目前缺少一个中文指令常见家用物品标准化机械臂的开源小型基准。如果未来有人补上这块空白对国内社区会是极大的推动力。挑战维度论文提到的主要问题对工程落地的具体影响数据轨迹数据昂贵、异构、难以规模化模型能力受限于数据覆盖跨设备复用困难泛化外观、物体、指令变化时成功率骤降交付时必须限定场景边界不敢完全开放实时性大模型推理延迟高于控制频率需要动作块机制和低层控制器配合安全分布外输入时过度自信、错误成本不可逆必须设计多层兜底不能依赖模型自律评测仿真和真实结果存在系统性代差项目验收标准难统一进展评估失真6. VLA落地前必须想清楚的三个现实问题论文读完之后如果你准备在自己的项目里用它我建议在动手之前把这三个问题想透。6.1 你要的是通用大脑还是一条专用动作序列VLA最大的卖点是通用一个模型应对多样任务、多样环境、多样指令。但通用是有代价的——需要的数据量级通常在几十万条轨迹起步不是普通小团队能轻松积累的。相反如果你的场景很固定比如只做一种工件抓取用更传统的行为克隆或模仿学习方法可能效果更好、成本更低。我见过不止一个团队因为“VLA火了所以要上VLA”结果既没有足够数据也没有清晰的场景边界最终实验收不了口。选型之前先诚实地回答一个问题你的任务到底需要多广的分布覆盖6.2 数据采集格式从一开始就定好否则返工成本极高如果你决定走VLA路线数据格式的规范化应该放在第一步。相机内外参、本体状态频率、动作空间编码、指令文本模板这些看似琐碎的项目决定了后续所有训练实验能否顺利复现。指令文本尤其容易被低估。如果采集时只用固定模板写“把杯子放到盘子里”模型学到的就只是关键词匹配换个表达方式就失效。我建议采集人员在写指令时刻意多样化“帮我把它放到旁边”“放到那个蓝色的盘子上”“轻轻放过去”都可以录这样模型才有机会学到真正的语义理解。6.3 安全兜底不是最后加的功能而是必须前置的约束没有安全机制的VLA永远只能停留在演示阶段。接上真实机器人之前先把力矩限制、速度限制、关节空间越界检测、末端碰撞检测做扎实再让模型输出动作。并且不要把所有信任都押在模型的判断上VLA出现问题的方式通常很隐蔽——它不会说“我错了”只会表现出一次既果断又错误的行为。我现在做一个新任务时习惯先让模型在纯仿真环境里跑一百次随机初始状态统计失败模式和触发安全边界的频率再上真机。这套“冒烟测试边界摸底”的做法虽然会拖慢一点迭代速度但省下来的排障时间远超投入。对一个正在快速演进的方向来说少翻车几次本身就是一种效率优势。