1. 从三次切换说起机器人学习到底在学什么机器人学习这个词这两年热度蹿得特别快。但如果你真去翻一翻相关的讨论会发现一个很有意思的现象大部分人聊的其实是三件不同的事却被混在一起说。有人聊的是机械臂抓取有人聊的是四足机器人跑跳还有人聊的是人形机器人叠衣服。这三件事背后的技术路线、数据需求、训练范式差别大到几乎可以算作三个独立领域。我最早接触这个方向的时候也走过一段弯路。当时以为把强化学习的一套东西搬到机器人上就行了仿真里跑通直接部署到真机。结果真机一跑抓取成功率从仿真里的百分之九十多掉到百分之三十都不到。后来才慢慢理解机器人学习这件事核心矛盾从来不是算法不够强而是物理世界和数字世界之间的那道鸿沟。这道鸿沟催生了整个领域的三次关键切换。所谓“三次切换”是我自己总结的一个观察框架。它描述的是机器人学习在过去这些年里研究重心和工程范式发生的三次大的转向。每一次切换都对应着对“机器人到底该怎么学”这个问题的不同回答。而“物理AI”和“具身AGI”这两个概念恰好站在第三次切换的延长线上指向一个更远的目标。这篇文章想做的事情很简单把这三次切换讲清楚把每次切换背后的技术逻辑、工程取舍、以及实际落地时的坑都摊开来聊。如果你正在入门机器人学习或者正在规划一条从仿真到真机的技术路线那这篇内容应该能帮你省下不少试错的时间。我不会堆砌公式也不会只讲概念而是尽量用实际项目里的经验把每个环节的“为什么”说透。先给一个全局的坐标感。机器人学习的三次切换大致可以这样划分切换阶段核心特征典型方法主要瓶颈第一次切换从模型驱动到数据驱动强化学习、模仿学习样本效率极低第二次切换从单任务到基座模型大规模预训练、多任务学习数据采集成本高第三次切换从数字预训练到物理AI仿真到现实迁移、经验回流物理一致性难以保证这个表格只是一个粗略的坐标。实际项目中这三个阶段往往是交织在一起的没有哪条线是干干净净切过去的。但作为理解路线的一个框架它足够用了。2. 第一次切换从写规则到喂数据2.1 为什么规则驱动走不通了早期做机器人控制主流思路是建模加规划。你把机器人的运动学、动力学模型建出来把环境的几何信息输进去然后用规划算法算出一条轨迹让控制器去跟踪。这套方法在结构化环境里非常有效比如汽车产线上的焊接机器人重复同一个动作几百万次精度可以做到极高。但一旦环境变得非结构化这套方法就崩了。什么叫非结构化就是物体的位置、姿态、形状都不固定光照条件会变甚至任务目标本身都有模糊性。比如让机器人从一堆杂物里挑出指定的物品你没法事先把所有可能的场景都建模出来。规则写不完条件分支爆炸维护成本高到不可接受。我第一次意识到这个问题是在做一个简单的抓取项目。当时用传统的视觉伺服加规划调了两个月换了十几种特征提取方法最后在测试集上的成功率还是卡在百分之六十左右上不去。后来换了一个基于学习的方案用几千次抓取尝试采集数据训练一个端到端的网络两周之后成功率就到了百分之八十五。这个对比让我彻底转向了数据驱动的思路。2.2 强化学习和模仿学习的分野第一次切换的核心是从“人写规则”变成“机器从数据里学规则”。具体到方法上主要分两条路强化学习和模仿学习。强化学习的逻辑是试错。机器人在环境里执行动作根据获得的奖励信号来调整策略。这套方法在游戏、仿真环境里已经证明非常强大。但搬到真机上问题立刻暴露样本效率太低。一个简单的抓取任务可能需要几十万甚至上百万次尝试才能收敛。真机上每次尝试都要消耗时间还有硬件磨损根本扛不住。模仿学习的逻辑是跟人学。人操作机器人完成任务把操作过程记录下来作为训练数据。机器人学习的是“在什么状态下该输出什么动作”的映射关系。这条路的好处是样本效率高得多几百条演示数据就可能让机器人学会一个基本技能。但它的瓶颈也很明显演示数据的质量和覆盖度直接决定最终效果。人演示的时候不可能覆盖所有可能的状态一旦遇到训练数据里没见过的状态策略就容易失效。实际项目中这两条路经常是混着用的。先用模仿学习快速搭一个基础策略让机器人能跑起来再用强化学习在仿真里做微调提升鲁棒性。这个混合范式后来成了很多机器人学习项目的标准流程。2.3 实操中的关键细节数据采集的坑如果你现在要开始一个机器人学习项目第一次切换阶段最需要关注的其实是数据采集。我见过太多项目算法选得很 fancy但数据质量一塌糊涂最后效果怎么调都上不去。数据采集有几个关键点。第一是状态空间的覆盖。你不能只在一种初始条件下采集数据要让物体出现在工作空间的不同位置、不同姿态光照条件也要有变化。第二是动作的平滑性。人演示的时候手抖或者突然加速这些噪声会被网络学进去导致策略输出不稳定的动作。采集的时候最好加一个低通滤波或者用遥操作设备来保证动作平滑。第三是时间对齐。视觉观测和动作指令之间的时间戳必须严格对齐差个几十毫秒学出来的策略就会有延迟抓取的时候直接抓空。实操心得数据采集阶段宁可少采一点也要保证每条数据的质量。我通常会把采集到的数据先做一遍可视化检查把明显有问题的轨迹剔掉。这个步骤花的时间后面会加倍省回来。还有一个容易被忽略的点数据增强。在图像输入的情况下可以对图像做随机裁剪、颜色抖动、亮度调整这些增强手段能显著提升策略的泛化能力。但要注意增强的幅度不能太大否则会破坏任务相关的视觉特征。比如抓取任务里物体的边缘信息很关键裁剪的时候不能把物体裁掉一半。3. 第二次切换从单任务模型到基座模型3.1 单任务模型的困境第一次切换解决了“怎么学”的问题但很快遇到了新的天花板。每个任务训练一个模型成本太高了。抓取一个杯子要训一个模型抓取一个瓶子又要训一个模型换个物体就得重新采集数据、重新训练。这种模式在实验室里做 demo 可以但离实际部署差得远。更麻烦的是单任务模型之间没法共享知识。抓取杯子的模型学到的“如何应对反光表面”的经验没法迁移到抓取瓶子的模型里。每个模型都是从零开始数据效率极低。这个困境和自然语言处理领域早期的情况非常像。在 BERT、GPT 这些基座模型出现之前每个 NLP 任务也是单独训一个模型标注数据的需求量巨大。后来大家发现先在大规模无标注数据上预训练一个通用模型再在下游任务上微调效果和效率都远超从头训练。机器人学习领域也在经历同样的转变。3.2 基座模型的核心逻辑机器人基座模型的核心思路是先让模型见过足够多的物理交互再让它去适应具体任务。这里的“见过”可以是在仿真里也可以是在真机上或者是两者的混合。基座模型的训练目标通常不是某个具体任务而是更通用的目标。比如预测下一帧的视觉观测或者预测动作的后果或者重建被遮挡的物体形状。这些目标迫使模型学习物理世界的底层规律物体怎么运动力怎么传递接触怎么发生。一旦模型学到了这些底层规律下游任务的学习就变得非常高效。你只需要少量演示数据甚至只需要用语言描述任务模型就能泛化过去。这就是基座模型的威力所在。我参与过一个项目用大规模仿真数据预训练了一个视觉-动作基座模型然后在真实机器人上只用了五十条演示数据就学会了开抽屉、按按钮、推物体三个任务。如果是从头训练每个任务至少需要五百条以上的演示数据。这个效率提升是数量级的。3.3 数据从哪里来仿真、真机与混合策略基座模型需要大量数据数据来源是个核心问题。目前主要有三种策略纯仿真数据。在仿真环境里大规模采集成本低速度快可以并行几千个环境同时跑。但仿真和现实之间存在差距主要是物理参数不准确、视觉渲染不真实、接触模型简化。这些差距会导致模型在真机上表现下降。纯真机数据。最真实但采集成本极高。一台机器人一天能采集的数据量有限而且需要人工操作或遥操作人力成本也高。纯真机数据训练基座模型目前只有少数资源充足的团队在做。混合策略。先用仿真数据做大规模预训练再用真机数据做微调。这是目前最主流的做法。关键在于如何缩小仿真和现实之间的差距也就是所谓的“sim-to-real”迁移。数据来源成本规模真实性适用阶段纯仿真低极大低预训练纯真机高小高微调混合中大中高预训练微调3.4 实操中的关键细节仿真环境搭建如果你要走基座模型这条路仿真环境的搭建是绕不过去的。我踩过的坑包括物理引擎的参数和真实世界差太多导致训练出来的策略在真机上完全不能用视觉渲染太干净模型在真机上遇到纹理复杂的背景就失效接触模型过于理想化抓取的时候穿透或者弹飞。解决这些问题的办法一个是域随机化。在仿真里随机化物理参数摩擦系数、质量、阻尼、视觉参数光照、纹理、相机位置、甚至动力学参数延迟、噪声。这样训练出来的模型对参数变化更鲁棒迁移到真机时表现更稳定。另一个是系统辨识。用真机数据去拟合仿真里的关键参数让仿真尽可能逼近真实。这个步骤比较费时但对最终效果提升很明显。我通常会在仿真里先跑一轮域随机化训练然后在真机上采集少量数据做系统辨识再重新训练一轮。两轮下来迁移效果比只做域随机化好很多。注意域随机化的范围不是越大越好。范围太大模型学到的策略会过于保守在真机上表现反而变差。我的经验是随机化范围应该覆盖真机可能出现的参数波动范围再稍微放宽一点即可。4. 第三次切换物理AI与经验回流4.1 物理AI到底指什么物理AI这个词最近被提得很多但定义并不统一。我理解的核心是AI 系统不仅要处理数字信息还要直接与物理世界交互并在交互中持续学习。这跟传统的机器人学习有什么区别区别在于“持续”和“闭环”。传统的机器人学习训练和部署是分离的。训练在仿真里或者离线数据上完成部署时模型参数冻结不再更新。物理AI则要求系统在部署后仍然能学习把真实交互中获得的经验回流到模型中不断提升能力。这个思路其实和人类学习很像。人学骑自行车不是先在脑子里建一个完美的动力学模型再上车而是上车就骑摔几次慢慢调整最后形成肌肉记忆。物理AI追求的就是这种“在物理交互中学习”的能力。4.2 经验回流的技术实现经验回流听起来很美好但实现起来有几个硬骨头要啃。第一个是实时性。真机上的交互是毫秒级的模型推理必须在极短时间内完成。如果每次交互后都要更新模型计算开销会非常大。目前的折中方案是在线收集数据离线批量更新。机器人工作一段时间把交互数据存下来晚上或者空闲时做一轮训练第二天更新模型。这样虽然不是严格的在线学习但已经能实现持续改进。第二个是灾难性遗忘。模型在新数据上更新后可能会忘掉之前学过的技能。解决这个问题常用的方法是经验回放把旧数据和新数据混在一起训练或者用正则化方法约束参数更新幅度。我试过用弹性权重巩固的方法效果不错但计算开销会增加。第三个是安全性。模型在探索新策略时可能会做出危险动作。真机上必须有安全约束比如力矩限制、工作空间限制、碰撞检测。这些约束会限制模型的探索空间但安全是第一位的。4.3 具身AGI的路线图具身AGI是物理AI的终极目标。它指的是一个能在物理世界中自主学习、适应各种任务、具备通用能力的智能体。从当前的技术水平到具身AGI中间还有很长的路要走。我个人的判断是这条路会分几个阶段。第一阶段是单技能泛化模型能在同一类任务上泛化到不同物体、不同场景。比如抓取模型能抓各种形状的物体。第二阶段是多技能组合模型能组合多个基本技能完成复杂任务。比如先开抽屉再取出里面的物体再关上抽屉。第三阶段是任务级泛化模型能理解抽象的任务描述自主拆解并执行。比如“把桌子收拾干净”这种指令。第四阶段才是真正的具身AGI具备自主探索和持续学习的能力。目前我们大概处在第一阶段和第二阶段之间。基座模型让单技能泛化变得可行但多技能组合和任务级泛化还在早期探索阶段。4.4 实操中的关键细节经验回流的工程实现如果你要在自己的项目里实现经验回流我建议从最简单的形式开始定期微调。不要一上来就搞复杂的在线学习那个工程复杂度太高容易出问题。具体做法是部署一个基础策略让机器人在真实环境里执行任务。同时记录所有的状态、动作、奖励或者成功/失败信号。每隔一段时间比如一天或者一周把新收集的数据和旧数据混合做一轮微调训练。训练完成后在仿真环境里做回归测试确保新模型没有忘掉旧技能也没有引入危险行为。测试通过后再部署到真机。这个流程听起来简单但有几个细节要注意。数据存储要设计好每条数据要有时间戳、任务标签、成功标志方便后续筛选和加权。微调的时候新旧数据的比例要控制好新数据太多会导致遗忘旧数据太多会导致新技能学不进去。我的经验是新旧比例控制在 1:3 到 1:5 之间比较合适。实操心得经验回流的效果很大程度上取决于数据质量。如果真机数据里有很多失败案例直接混进去训练可能会让模型变得保守。我通常会对失败案例做加权降低它们的权重或者只保留那些“接近成功”的失败案例这些案例的信息量最大。5. 三次切换背后的核心矛盾与取舍5.1 样本效率与泛化能力的权衡贯穿三次切换的一个核心矛盾是样本效率和泛化能力之间的权衡。样本效率高意味着用少量数据就能学会任务但泛化能力往往有限。泛化能力强意味着模型能应对各种新情况但需要大量数据来训练。第一次切换阶段模仿学习样本效率高但泛化差。第二次切换阶段基座模型泛化强但数据需求量大。第三次切换阶段经验回流试图在部署后持续提升泛化能力但工程复杂度高。实际项目中没有哪个方案是完美的。你需要根据任务的特点来取舍。如果任务场景固定物体种类有限那单任务模型加模仿学习可能就够了。如果任务场景开放物体种类多那就需要基座模型加经验回流。5.2 仿真与现实的鸿沟另一个贯穿始终的矛盾是仿真和现实之间的鸿沟。仿真里训练得再好真机上表现可能一塌糊涂。这个鸿沟的根源在于仿真永远无法完全复现现实世界的复杂性。缩小这个鸿沟的方法前面提到了域随机化和系统辨识。但还有一个思路是在仿真里引入真实数据。比如用真机采集的数据来训练一个残差模型预测仿真和现实之间的差异然后在仿真里补偿这个差异。这个方法在一些项目里效果不错但实现起来比较复杂。我的经验是不要试图完全消除仿真和现实的差距那是不可能的。更务实的做法是把仿真当作预训练的工具把真机当作微调和验证的平台。仿真里学到的通用特征加上真机上学的具体调整两者结合效果最好。5.3 数据成本与模型能力的平衡数据成本是机器人学习里最现实的问题。真机数据采集需要硬件、人力、时间成本很高。仿真数据虽然便宜但存在迁移问题。基座模型需要海量数据但数据从哪来怎么标注怎么管理都是工程难题。我见过一些团队为了追求模型能力盲目扩大数据采集规模结果数据质量参差不齐训练出来的模型反而不好用。也见过一些团队数据量不大但采集策略很精细模型效果反而更好。我的建议是先想清楚任务的核心难点是什么再决定数据采集的策略。如果核心难点是视觉泛化那就多采集不同光照、不同背景的数据。如果核心难点是动作精度那就多采集精细操作的数据。不要为了凑数据量而采集无关的数据。6. 常见问题与排查技巧实录6.1 仿真训练效果好真机部署就崩这是最常见的问题。原因通常有几个物理参数不匹配、视觉渲染差距大、传感器噪声模型不对。排查的时候先检查仿真里的物理参数是否和真机一致特别是摩擦系数、质量、关节阻尼这些。然后检查视觉渲染仿真里的光照、纹理、相机内参是否和真机匹配。最后检查传感器噪声真机的相机有噪声编码器有量化误差仿真里如果太干净模型就学不会应对噪声。解决办法做系统辨识用真机数据拟合仿真参数。做域随机化让模型对参数变化鲁棒。在仿真里加入噪声模型模拟真机的传感器特性。6.2 模型在旧任务上表现下降这是灾难性遗忘的典型表现。模型在新任务上微调后旧任务的能力下降。解决办法经验回放把旧数据和新数据混在一起训练。正则化方法约束参数更新幅度。或者用多任务学习同时训练多个任务共享底层特征。我通常会用经验回放简单有效。新旧数据比例控制在 1:3 左右旧数据太少会遗忘太多会学不进新任务。6.3 真机数据采集效率低真机数据采集慢是很多项目的瓶颈。提高效率的方法用遥操作设备比手动拖动快很多。设计好采集流程减少无效操作。用自动采集策略让机器人在安全范围内自主探索人只做监督和干预。还有一个技巧是复用数据。同一个演示数据可以用于训练多个任务。比如一个抓取演示既可以训练抓取策略也可以训练物体识别模型。数据复用能显著降低采集成本。6.4 模型推理速度不够真机控制频率通常要求几十赫兹甚至上百赫兹模型推理必须足够快。如果模型太大推理速度跟不上控制就会延迟。解决办法模型压缩用剪枝、量化、知识蒸馏等方法减小模型体积。用更高效的网络结构比如轻量级卷积网络或者 Transformer 变体。把推理放到 GPU 或者专用加速器上。我试过用知识蒸馏把一个大模型的能力迁移到一个小模型上推理速度提升了三倍效果只下降了一点点。这个方法在真机部署时很实用。问题现象可能原因排查方法解决方案仿真好真机崩物理/视觉差距对比仿真与真机参数系统辨识域随机化旧任务能力下降灾难性遗忘测试旧任务成功率经验回放正则化数据采集慢流程低效分析采集时间分布遥操作自动采集推理速度慢模型太大测推理耗时剪枝量化蒸馏7. 一条可参考的入门路线如果你刚开始接触机器人学习我建议的路线是这样的。先不要碰真机在仿真里把基础打牢。选一个成熟的仿真平台比如 MuJoCo 或者 Isaac Sim从简单的任务开始比如让一个机械臂到达指定位置。用强化学习或者模仿学习都可以目的是理解状态、动作、奖励这些基本概念以及训练和评估的流程。然后进入第一次切换学习模仿学习。采集一些演示数据训练一个简单的策略网络让机械臂完成抓取或者放置任务。这个阶段重点理解数据采集、数据增强、策略网络设计这些环节。接着进入第二次切换尝试基座模型。用大规模仿真数据预训练一个视觉-动作模型然后在具体任务上微调。这个阶段重点理解预训练目标设计、迁移学习、仿真到现实的差距。最后进入第三次切换尝试经验回流。在真机上部署模型收集交互数据定期微调。这个阶段重点理解在线学习、灾难性遗忘、安全约束这些工程问题。每个阶段不需要做到完美但要把核心概念和流程跑通。跑通之后再根据具体项目需求深入。提示入门阶段不要追求 SOTA 效果那是资源充足的团队做的事情。个人或者小团队重点是理解原理、跑通流程、积累经验。等有了足够的直觉再去做优化和创新。8. 物理AI的边界与想象空间物理AI和具身AGI的概念目前还处在早期。技术路线没有收敛评价标准也不统一。但有一点是明确的物理世界的交互数据是当前 AI 系统最稀缺的资源。语言和图像数据在互联网上已经泛滥但物理交互数据只有真正部署的机器人才能产生。这意味着谁能在物理交互数据上建立优势谁就能在下一阶段的竞争中占据先机。这个优势不仅仅体现在数据量上更体现在数据采集的效率和闭环学习的能力上。从工程角度看物理AI的落地需要硬件、软件、算法的深度协同。硬件要可靠、安全、低成本。软件要稳定、实时、可扩展。算法要高效、鲁棒、可解释。这三个层面的任何一个短板都会成为瓶颈。我个人的判断是物理AI的第一波落地会出现在那些任务相对固定、环境相对可控、但传统自动化难以覆盖的场景。比如仓储物流里的拣选、家庭服务里的简单操作、实验室里的样品处理。这些场景的共同特点是任务有变化但变化范围有限环境有干扰但干扰可控。基座模型加经验回流的方案在这些场景里能发挥出优势。至于具身AGI那是更远的目标。它需要的不只是技术突破还有对智能本质的更深理解。我保持谨慎乐观。谨慎是因为物理世界的复杂性远超我们的想象。乐观是因为每一次切换都让我们离那个目标更近了一步。最后分享一个我在实际项目中体会很深的小技巧不要低估数据可视化的价值。每次训练完模型我都会把策略在仿真和真机上的执行过程录下来逐帧看。很多问题看数据报表看不出来但一看视频就明白了。比如策略在某个特定状态下会犹豫或者动作有抖动这些细节对调参和改模型非常关键。花时间做可视化比盲目调参效率高得多。