物理AI这个词最近被提得越来越多但真正落到机器人学习这件事上很多人其实是懵的。我接触过不少做机器人算法的朋友也看过一些团队从零搭建学习管线的过程发现一个很普遍的现象大家把注意力几乎全放在了模型结构和训练技巧上却忽略了一个更根本的问题——机器人到底应该怎么学。这个问题的答案直接决定了你的技术路线选型、数据采集方式、算力分配策略甚至团队的人员构成。标题里说的三次切换指的就是机器人学习范式在演进过程中经历的三个关键转折点每一次切换都对应着人类学习方式的一种映射。这篇文章不打算讲某个具体算法怎么调参而是想把这条路线背后的坐标体系讲清楚让正在入门或者准备转型的朋友能看清自己站在哪个位置下一步该往哪走。无论你是刚接触机器人学习的新手还是已经在做具身智能相关项目的从业者理解这三次切换的逻辑比多跑几个实验要有价值得多。1. 为什么用人类学习路线来理解机器人学习1.1 人类学习的三层结构模仿、试错、抽象先把这个类比说清楚不然后面容易绕晕。人类学习一个新技能比如学打篮球大致会经历三个阶段。第一个阶段是看别人怎么做教练示范投篮动作你照着模仿这个阶段的核心是模仿学习。第二个阶段是自己上场练投丢了调整力度和角度投进了记住这种感觉这个阶段的核心是试错学习。第三个阶段是你打了几年球之后突然能给别人讲清楚为什么这个角度出手命中率更高甚至能根据防守人的站位预判下一步动作这个阶段的核心是抽象与迁移。这三个阶段不是严格线性的很多时候是交织在一起的但整体上有一个从低级到高级的递进关系。机器人学习的发展路线恰好也走了类似的三步。早期大家教机器人做事就是手把手示教或者遥操作采集数据然后让机器人模仿后来发现光靠模仿不够灵活就开始让机器人在仿真环境里大量试错用强化学习来优化策略再到现在大家开始追求一种更通用的能力希望机器人能像人一样把在一个场景里学到的东西迁移到另一个完全不同的场景里这就是具身AGI讨论的核心。注意这个类比是为了帮助理解不是说机器人的学习机制和人类完全一样。机器人的抽象目前还停留在很初级的阶段远没有达到人类那种举一反三的程度。1.2 物理AI和传统AI的分水岭在哪里很多人会把物理AI和传统AI混为一谈觉得都是跑神经网络能有多大区别。区别其实非常大。传统AI处理的是符号世界里的问题比如文本分类、图像识别、推荐排序它的输入是已经数字化的数据输出也是一个数值或者标签。物理AI不一样它要处理的是物理世界里的连续状态和动作输入是传感器读到的带噪声的高维信号输出是要作用在真实世界里的力、力矩、关节角度这些物理量。这个区别带来的直接后果是传统AI可以靠海量标注数据堆出来物理AI不行。你在仿真里训练一个抓取策略迁移到真机上可能完全失效因为仿真的接触力学模型和真实世界有差距。你在一个桌面上训练好的策略换一个桌面材质可能就抓不住了。所以物理AI的学习路线必须考虑数据从哪里来、怎么保证泛化、如何缩小仿真与现实的差距这三个核心问题。这三点恰好对应了后面要讲的三次切换。1.3 基座模型给机器人学习带来的变量基座模型的出现给机器人学习路线增加了一个新的维度。以前做机器人学习每个任务都要单独采集数据、单独训练模型任务之间几乎无法复用。现在有了视觉-语言-动作VLA这类基座模型的思路大家开始尝试用一个统一的模型来承接多种任务通过语言指令来切换行为。这个变化的意义在于它让机器人学习从一个任务一个模型走向了一个模型多个任务甚至开始出现跨本体的迁移尝试。但基座模型不是万能药。它在机器人领域的落地面临一个很现实的矛盾基座模型需要海量、多样、高质量的数据而机器人数据的采集成本极高。互联网上的文本和图像数据是现成的但机器人的动作数据没有现成的互联网规模。所以基座模型在机器人学习里的角色目前更多是提供视觉和语义的理解能力动作生成部分仍然高度依赖具体任务的数据。理解这个边界对选择技术路线很关键。2. 第一次切换从手工编程到模仿学习2.1 手工编程时代的天花板在模仿学习成为主流之前工业机器人领域的主流做法是手工编程。工程师根据任务需求逐行写运动指令设定每个关节的运动轨迹、速度、加速度再配合示教器一点点调整点位。这种方式在结构化环境里非常可靠汽车产线上的焊接、喷涂、搬运至今仍然大量使用手工编程。但手工编程的天花板也很明显。第一它要求环境高度结构化工件的摆放位置、来料姿态必须一致稍有偏差就需要重新调整程序。第二它无法处理需要感知反馈的任务比如抓取一个随意摆放的物体或者根据物体的形变调整力度。第三编程成本极高一个复杂任务可能需要工程师花几周甚至几个月来调试。这三个限制直接催生了第一次切换。2.2 示教采集与行为克隆的工程细节模仿学习的核心思路是不再手工设计轨迹而是让人来演示机器人从演示数据中学习策略。采集演示数据的方式主要有两种一种是动觉示教操作员直接拖着机器人的末端执行器走一遍任务机器人记录下关节角度序列另一种是遥操作操作员通过手柄或者主从臂来控制机器人完成任务同时记录状态和动作。采集到数据之后最常用的方法是行为克隆Behavior Cloning本质上是一个监督学习问题给定状态预测动作。损失函数通常用均方误差优化器用Adam训练起来并不复杂。但工程上的坑非常多。比如动觉示教采集的数据操作员拖拽的速度和力度不均匀导致动作分布有偏遥操作采集的数据操作员的反应延迟会引入噪声不同操作员演示同一个任务风格差异很大模型学出来的策略会不稳定。提示采集演示数据时尽量让同一个任务由同一个操作员演示并且保持演示节奏一致。如果必须多人演示建议在数据里加入操作员标识训练时做分层处理。2.3 为什么模仿学习仍然绕不开分布偏移行为克隆有一个根本性的问题叫分布偏移Distribution Shift。简单说就是训练时模型见到的状态都是操作员演示时经过的状态但模型自己执行任务时一旦某个动作有微小偏差就会进入一个训练时没见过的状态然后误差会累积放大最终导致任务失败。这个问题在短任务里不明显但在长序列任务里非常致命。解决分布偏移的常见思路有几种。一种是数据增强在训练数据里人为加入扰动让模型见过更多样的状态。另一种是DAggerDataset Aggregation让模型自己执行任务操作员在模型出错时接管并纠正把纠正后的数据加入训练集反复迭代。还有一种思路是动作分块Action Chunking让模型一次预测未来多步的动作序列减少单步误差累积的影响。这几种方法各有适用场景实际项目里经常组合使用。3. 第二次切换从模仿学习到强化学习3.1 仿真环境强化学习的练兵场模仿学习的天花板在于它只能学到演示数据里有的东西无法超越演示者的水平。如果要让机器人学会更优的策略或者适应演示数据覆盖不到的场景就需要引入强化学习。强化学习的核心是让机器人在环境里大量试错通过奖励信号来优化策略。但直接在真机上做强化学习是不现实的因为试错成本太高机器人可能撞坏自己或者损坏环境。所以仿真环境成了强化学习的主战场。常用的仿真平台包括MuJoCo、Isaac Sim、PyBullet等它们能提供物理引擎、碰撞检测、传感器模拟等功能。在仿真里机器人可以一天试错几百万次这在真机上是不可想象的。仿真环境的选择有几个关键考量。MuJoCo的接触力学模拟比较准确适合做精细操作任务Isaac Sim的渲染和并行能力更强适合做大规模训练PyBullet轻量易用适合快速原型验证。实际项目里经常是先在PyBullet里快速验证算法思路再迁移到Isaac Sim做大规模训练最后在MuJoCo里做精细调优。3.2 Sim-to-Real的鸿沟与域随机化仿真里训练好的策略直接搬到真机上往往会失效这个差距叫Sim-to-Real Gap。差距的来源主要有几个物理参数不准确摩擦系数、质量分布、关节阻尼等、传感器噪声模型不匹配、渲染图像与真实图像的视觉差异、执行器的响应延迟等。缩小这个差距的主流方法是域随机化Domain Randomization。思路很简单既然不知道真实世界的精确参数那就在仿真里随机化这些参数让模型见过足够多的变化从而对真实世界的不确定性更鲁棒。比如随机化物体的质量、摩擦系数、光照条件、相机位置等。域随机化的效果取决于随机化范围的设计范围太小覆盖不了真实情况范围太大又会让模型学不到有效策略。另一种思路是系统辨识System Identification通过真机上的实验数据来估计仿真参数让仿真尽可能逼近真实。这种方法更精确但需要额外的实验成本。实际项目里经常是域随机化为主系统辨识为辅两者结合使用。3.3 奖励函数设计强化学习最容易被低估的环节强化学习里奖励函数的设计往往比算法选择更重要。一个设计不好的奖励函数会让模型学到奇怪的行为。比如你想让机器人学会抓取如果奖励只给物体被抓起这一个信号模型可能会学会用蛮力把物体拍飞因为拍飞也能让物体离开桌面。这就是所谓的奖励黑客Reward Hacking。设计奖励函数的常见原则是稀疏奖励配合课程学习稠密奖励配合行为约束。稀疏奖励只在任务成功时给信号模型学得慢但不容易走偏稠密奖励在每一步都给信号模型学得快但容易学到投机行为。课程学习是指把任务拆成由易到难的阶段先在简单阶段学会基本行为再逐步增加难度。行为约束是指在奖励里加入对动作平滑度、能量消耗、关节限位等的惩罚项防止模型做出危险动作。提示设计奖励函数时先想清楚模型最可能怎么作弊然后针对性地加入约束。这个思考过程比调参重要得多。4. 第三次切换从单任务策略到具身基座模型4.1 具身AGI的野心与现实差距具身AGI的目标是让机器人具备通用的物理世界操作能力能像人一样适应各种任务和环境。这个目标很宏大但目前离实现还有很大距离。现实情况是大多数机器人系统仍然是为特定任务定制的换一个任务就需要重新采集数据、重新训练。具身AGI要解决的核心问题是泛化跨任务泛化、跨场景泛化、跨本体泛化。跨任务泛化是指一个模型能处理多种任务比如既能抓取又能放置还能开关门。跨场景泛化是指模型能在不同的环境里工作比如从实验室换到厨房。跨本体泛化是指模型能适配不同的机器人硬件比如从机械臂换到人形机器人。这三个泛化能力目前都还处于早期探索阶段。4.2 VLA模型的架构逻辑与数据需求VLAVision-Language-Action模型是目前具身基座模型的主流架构。它的基本思路是用视觉编码器处理图像输入用语言模型处理指令输入然后通过一个动作解码器生成机器人动作。训练时模型同时学习视觉理解、语言理解和动作生成目标是让语言指令能直接驱动动作输出。VLA模型的数据需求非常大。它需要成对的视觉、语言、动作数据也就是在某个视觉场景下给定一条语言指令机器人执行了什么动作。这类数据的采集成本极高目前公开的数据集规模远小于文本和图像数据集。所以VLA模型的训练通常需要结合多种数据来源互联网上的视觉-语言数据用来预训练视觉和语言部分机器人演示数据用来训练动作部分仿真数据用来补充多样性。4.3 跨本体迁移的难点动作空间的异构性跨本体迁移是具身基座模型最难的环节之一。不同的机器人硬件动作空间的维度、范围、语义都不一样。比如一个六自由度机械臂和一个七自由度机械臂动作向量的维度就不同一个夹爪和一个灵巧手末端执行器的动作语义也完全不同。要让一个模型同时适配多种本体就需要设计一种统一的动作表示。目前常见的思路有几种。一种是动作抽象把不同本体的动作映射到一个共享的隐空间模型在这个隐空间里生成动作再解码到具体本体的动作空间。另一种是本体条件化在模型输入里加入本体标识让模型根据本体标识生成对应的动作。还有一种思路是统一动作接口比如都用末端执行器的位姿增量来表示动作屏蔽掉关节层面的差异。这几种思路各有优劣目前还没有形成统一的标准。5. 三次切换背后的数据与算力账本5.1 不同阶段的数据成本对比把三次切换放在一起看数据成本的变化非常明显。手工编程阶段数据成本主要是工程师的时间一个任务几周模仿学习阶段数据成本是演示采集的时间一个任务几小时到几天强化学习阶段数据成本是仿真算力一个任务几块GPU跑几天具身基座模型阶段数据成本是海量多源数据的采集和清洗一个模型可能需要几十万条演示数据加上大规模仿真数据。阶段数据来源单任务数据量采集成本泛化能力手工编程工程师设计无极高极低模仿学习示教/遥操作几十到几百条中低强化学习仿真试错百万级交互算力成本中具身基座多源混合十万到百万级极高高目标这张表不是精确的量化而是帮助理解趋势。可以看到随着泛化能力的提升数据成本和算力成本都在快速上升。这也是为什么具身基座模型目前只有少数团队在做大部分团队仍然停留在模仿学习或强化学习阶段。5.2 算力分配的实际经验算力分配是很多团队容易踩坑的地方。我见过一些团队把大部分算力花在模型训练上结果发现数据质量不行训练再久也没用。也见过一些团队算力全花在仿真环境上结果仿真和现实的差距太大迁移效果很差。比较合理的算力分配策略是数据采集和清洗占三成仿真环境占三成模型训练占四成。数据采集和清洗包括演示数据的采集、标注、筛选、增强仿真环境包括场景搭建、物理参数调优、域随机化配置模型训练包括预训练、微调、评估。这个比例不是固定的要根据具体任务调整但核心原则是不要把所有算力都压在训练上。提示在项目早期建议把更多算力花在数据质量和仿真环境上而不是模型规模上。一个干净的数据集加上一个合理的仿真环境比一个大模型更能解决问题。5.3 小团队如何选择切入点对于小团队来说直接做具身基座模型是不现实的数据、算力、人才都不够。比较务实的切入点是选一个具体的垂直场景用模仿学习快速做出可用的系统再逐步引入强化学习来优化关键环节。比如做桌面整理机器人先用遥操作采集几百条演示数据训练一个行为克隆策略让机器人能完成基本的抓取和放置然后针对抓取失败的情况用强化学习在仿真里训练一个纠错策略最后把两个策略组合起来形成一个完整的系统。这个路线的优点是每一步都有明确的产出风险可控。缺点是泛化能力有限换一个场景就需要重新采集数据。但对于小团队来说先活下来比追求通用性更重要。6. 路线选择中的常见误判与实操建议6.1 盲目追新基座模型不是所有问题的答案基座模型很热但不是什么问题都能解决。我见过一些团队任务其实很简单就是在固定工位上做上下料用传统视觉加运动规划就能搞定却非要上VLA模型结果数据采集成本翻了几倍效果还不如传统方法。技术选型的第一原则是匹配任务需求而不是追热点。判断要不要用基座模型可以问自己三个问题任务是否需要语言指令来切换任务是否需要跨场景泛化团队是否有足够的数据和算力如果三个问题的答案都是否那基座模型大概率不是最优选择。6.2 数据质量比数据数量更致命机器人学习里数据质量的重要性怎么强调都不过分。我见过一个项目采集了上万条演示数据但因为没有做时间对齐状态和动作的对应关系错位了几十毫秒训练出来的策略抖动严重怎么调参都解决不了。后来重新采集了五百条对齐良好的数据效果反而更好。数据质量的检查清单包括时间戳是否对齐、传感器是否有丢帧、动作是否有异常值、演示是否覆盖了任务的关键变化、不同演示之间的一致性如何。这些检查应该在采集阶段就做而不是等到训练出问题再回头排查。6.3 评估体系缺失导致的方向迷失很多团队在机器人学习项目里没有建立系统的评估体系导致无法判断当前方案是否在进步。常见的表现是只看训练损失不看任务成功率只在固定场景评估不测泛化能力只测成功案例不分析失败模式。一个合理的评估体系应该包括任务成功率、泛化测试结果、失败模式分类、执行效率四个维度。任务成功率是最基本的指标泛化测试要覆盖不同的物体、光照、位置失败模式分类能帮你定位问题执行效率包括任务完成时间和动作平滑度。这四个维度结合起来才能全面反映系统的实际能力。6.4 从单点突破到系统集成的节奏把控机器人学习项目最容易犯的错误是过早追求系统集成。我见过一些团队一开始就想做一个完整的机器人系统视觉、规划、控制、学习全都要做结果每个模块都做得不深系统跑起来问题一大堆。比较合理的节奏是先在一个模块上做出单点突破再逐步集成。比如先专注把抓取策略做好用固定的视觉输入和固定的机械臂把抓取成功率做到百分之九十以上然后再引入视觉检测模块处理物体位置变化再引入运动规划模块处理避障最后再考虑多任务切换。这个节奏看起来慢但实际上每一步都扎实后期集成的成本反而更低。7. 站在坐标上看自己的位置回到标题里的坐标这个词。三次切换构成了一个坐标系横轴是泛化能力从单任务到多任务到跨本体纵轴是数据成本从手工设计到演示采集到仿真试错到多源混合。每个团队、每个项目都可以在这个坐标系里找到自己的位置。大部分工业机器人应用还在手工编程和模仿学习之间这个区间技术成熟、风险低、落地快。一些研究型项目和前沿探索在强化学习和具身基座模型之间这个区间技术不成熟、风险高但潜力大。选择哪个区间取决于你的目标、资源和风险承受能力。我个人在实际项目中的体会是不要被具身AGI这种大词带偏先把手头的任务做好把数据采干净把评估体系建起来把单点模块做扎实。这些基础工作做到位了再往上走才有意义。反过来如果基础不牢直接冲最前沿的方向大概率是浪费时间和资源。机器人学习这条路走得稳比走得快重要。