1. 机器人训练数据为什么成了瓶颈搞机器人学习的人都有一个共同感受算法论文满天飞真到了自己搭台子跑实验卡住进度的往往不是网络结构而是数据。真机采数据有多贵采过的人都懂——一台机械臂加上一套动捕设备标定、调试、采集、清洗一天下来能攒出几百条有效轨迹就算高产。要是想覆盖不同物体、不同光照、不同位姿那成本直接指数级往上翻。生成式AI这两年在图像和视频上的爆发让很多人开始琢磨一件事能不能让模型自己“造”数据把训练机器人所需的状态-动作对合成出来这个思路不是空想它背后有一条清晰的逻辑链——机器人学习本质上要的是“看到什么状态该输出什么动作”而生成式模型恰好擅长从大量无标注数据里学到分布再从这个分布里采样出新样本。把这两件事接上训练数据的来源就从“真机采集”扩展到了“模型合成”。我最近花了不少时间梳理这个方向把目前能跑通的技术路线归了归类发现大致可以分成五条。这五条路线各有各的适用场景也各有各的坑。下面我把每条路线的核心思路、关键实现和实操中容易踩的地方都摊开讲一遍尤其是“视频变动作”这条线因为它是目前门槛相对低、效果又比较能打的一条值得多花点篇幅。2. 五条技术路线的整体拆解2.1 路线一基于图像生成的视觉数据增强这条路线最直观用扩散模型或者GAN生成大量机器人工作场景的图片比如不同角度下的抓取目标、不同背景下的桌面布局。生成出来的图片配上已有的标注流程就能扩充视觉感知模块的训练集。它的核心价值在于解决“视觉泛化”问题。很多抓取模型在训练集上表现很好换一个没见过的物体或者换一种光照就崩了。用生成模型批量造出这些变化等于把数据增强从传统的旋转裁剪升级到了语义级别。但这条路线有个硬伤它只解决“看”的问题不解决“动”的问题。生成的图片没有对应的动作标签你得额外想办法把动作标注补上。常见的做法是先用生成图片训练一个视觉编码器再把这个编码器接到下游的策略学习里动作标签还是得从真机或者仿真里来。所以它更像是一个辅助手段而不是完整的训练数据合成方案。2.2 路线二基于视频预测的世界模型世界模型这个概念这两年很热核心思想是让模型学会“预测未来”。给定当前帧和一段历史模型生成接下来几帧的画面。如果这个预测足够准那它就可以当作一个可交互的模拟器来用——你在里面输入动作它返回下一帧的观测这样就能低成本地 rollout 出大量轨迹。理想世界模型的关键在于“动作条件化”。也就是说模型不能只是被动地预测视频它得接受一个动作输入然后生成“执行这个动作之后世界会变成什么样”。这比纯视频预测难得多因为动作和视觉变化之间的映射非常复杂而且存在大量多模态的不确定性。我试过用开源的视频扩散模型做条件生成发现两个问题一是生成帧的物理一致性不够机械臂经常“穿模”或者物体凭空消失二是长时预测误差累积很快预测到第十几帧基本就糊了。所以这条路目前更适合做短时预测或者作为辅助信号直接拿来当模拟器用还有距离。2.3 路线三基于逆动力学模型的“视频变动作”这条路线是我个人最看好的也是标题里重点提的。它的逻辑很干净既然视频数据比动作数据好搞得多那能不能先从视频里提取出动作逆动力学模型就是干这个的——给定前后两帧或者一段视频反推出中间执行了什么动作。这个思路的妙处在于它把数据来源一下子拓宽了。互联网上有海量的操作视频人类演示、工业流程、甚至烹饪视频只要画面里有人或者机械臂在操作物体理论上都能拿来用。你不需要这些视频自带动作标签逆动力学模型会帮你“猜”出来。当然“猜”出来的动作肯定有噪声但机器人学习对动作精度的容忍度比想象中高。很多策略学习算法本身就有一定的鲁棒性只要动作的大致方向和幅度对配合足够多的数据模型是能学出有用策略的。我实测下来用逆动力学从视频里提取的动作训练出来的策略在简单抓取任务上能达到真机采集数据训练效果的七八成这个性价比已经很高了。2.4 路线四基于仿真环境的域随机化合成仿真合成这条路其实不算新但生成式AI给它注入了新活力。传统做法是在仿真器里随机化物理参数摩擦系数、质量、刚度和视觉参数纹理、光照、相机位姿让模型在大量随机环境中训练从而迁移到真实世界。生成式AI的加入主要体现在视觉侧用扩散模型生成逼真的纹理和背景替换仿真器里那些看起来就很假的渲染图。这样训出来的模型视觉上的域差距会小很多。物理侧的随机化还是靠仿真器本身生成模型暂时帮不上太多忙。这条路线的优势是动作标签天然准确因为仿真器里的一切都是已知的。缺点是仿真到现实的鸿沟依然存在尤其是接触丰富的任务比如插拔、拧螺丝仿真里的物理模型很难完全还原真实世界的复杂接触力学。2.5 路线五基于大模型的多模态数据生成最后一条路线比较前沿用多模态大模型直接生成“状态-动作”对。比如给模型一段任务描述和一张初始场景图让它输出一串动作序列。这本质上是在用大模型的常识推理能力来“编”数据。这条路线的想象力最大但可控性也最差。大模型生成的动作序列经常在物理上不可行比如让机械臂穿过桌面去抓东西。所以它目前更多是用来生成高层任务规划或者子目标底层的动作执行还是得靠其他方法补上。不过随着模型对物理世界的理解越来越深这条路的天花板很高。3. “视频变动作”这条线怎么落地3.1 逆动力学模型的基本原理逆动力学模型要解决的问题是已知状态转移求动作。用数学语言说给定 s_t 和 s_{t1}求 a_t 使得 s_{t1} f(s_t, a_t)。在机器人场景里状态通常就是图像或者图像特征动作就是末端执行器的位姿变化或者关节角速度。训练逆动力学模型需要成对的视频帧动作数据。这些数据从哪来一部分可以从真机采集里拿但更划算的做法是用仿真数据。在仿真器里你可以让机械臂执行各种随机动作同时记录视频和对应的动作标签这样就能低成本地造出大量训练对。模型结构上常见的选择是先用一个视觉编码器把前后帧编码成特征然后把两个特征拼起来送进一个回归网络预测动作。也有用Transformer做时序建模的把一段视频作为输入输出整段动作序列。后者对长时依赖更好但训练成本也更高。3.2 从视频到动作的完整流程整个流程可以拆成四步。第一步是视频预处理把原始视频切成固定长度的片段做帧率对齐和分辨率归一化。这一步看着简单但实际做的时候坑不少——不同来源的视频帧率差异很大有的30帧有的60帧直接混在一起训练会让模型学乱。我的做法是统一重采样到15帧然后每5帧取一个关键帧作为状态。第二步是特征提取。我试过两种方案一种是用预训练的视觉 backbone比如ResNet或者ViT直接提特征另一种是用自监督方法比如对比学习在机器人视频上再预训练一轮。实测下来后者在动作预测精度上能提升10%到15%但需要额外的预训练时间。如果赶进度直接用预训练backbone也能跑。第三步是动作回归。这里有个关键设计预测绝对动作还是相对动作绝对动作就是直接输出末端位姿相对动作是输出相邻帧之间的位姿变化。我强烈建议用相对动作因为绝对动作的数值范围太大回归起来很不稳定而且不同场景的坐标系不一样模型很难泛化。相对动作只关心变化量数值范围小泛化性也好很多。第四步是后处理。模型输出的动作序列往往有抖动需要做平滑滤波。我用的是滑动平均加一个简单的低通滤波窗口大小设成5截止频率根据任务调整。对于抓取任务截止频率可以设低一点因为动作本身比较慢对于动态任务截止频率要高一些不然会把有用的高频信号滤掉。3.3 动作精度不够怎么办逆动力学模型预测的动作肯定不如真机采集的准这是事实。但精度不够不代表不能用关键看你怎么用。我总结了几个补救手段。第一个手段是数据量换精度。单个动作不准但如果你有十万条轨迹模型在训练时会把噪声平均掉学到的策略反而更鲁棒。这跟人类学习有点像——你看一百个人做同一个动作每个人细节都不一样但你看多了自然能抓住核心。第二个手段是动作空间降维。不要直接预测六自由度的位姿而是预测一个低维的动作表示比如末端执行器的位移方向和开合状态。这样模型只需要学一个粗粒度的动作精度压力小很多。下游策略学习时再用一个简单的控制器把粗动作映射到具体关节指令。第三个手段是迭代精化。先用逆动力学模型生成一批初始动作然后用这些动作在仿真器里 rollout看结果和视频里的真实结果差多少根据差异反过来修正动作。这个思路有点像模仿学习里的DAgger但不需要人工标注全自动跑。3.4 实操中的参数选择与调试逆动力学模型的训练有几个关键参数需要调。学习率我一般从1e-4开始用余弦退火降到1e-6。Batch size看显存能大就大因为动作回归对batch内的多样性比较敏感。损失函数用L1比L2好L2对异常值太敏感而视频里难免有遮挡或者运动模糊的帧这些帧的动作标签本身就不准用L2会把模型带偏。验证集的设计也很重要。不要随机划分验证集因为相邻帧高度相关随机划分会导致验证集和训练集几乎一样评估结果虚高。正确的做法是按视频片段划分确保验证集里的视频片段在训练集里完全没出现过。这样才能真实反映模型在新场景下的泛化能力。还有一个容易忽略的点是动作归一化。不同任务的动作用不同单位有的用米有的用弧度直接混在一起训练会让模型困惑。我的做法是按任务类型分组归一化每组单独算均值和方差预测时再反归一化回去。4. 世界模型与逆动力学的配合打法4.1 世界模型提供想象空间世界模型和逆动力学其实可以配合使用。世界模型负责“想象”未来的画面逆动力学负责从想象出的画面里提取动作。这样整个数据合成流程就闭环了从初始状态出发世界模型生成未来几帧的预测逆动力学从这些预测帧里反推出动作动作再送回世界模型生成下一帧如此循环。这个闭环的好处是不需要任何真机数据就能生成无限长的轨迹。当然误差累积是个问题跑几十步之后画面就崩了。我的经验是每跑十步就用一个真机观测做一次校正相当于把闭环和开环结合起来既保证了多样性又控制了漂移。4.2 理想世界模型的评判标准什么样的世界模型算“理想”我自己的标准有三条。第一条是物理一致性生成的画面里物体不能凭空消失或者穿模机械臂的运动要符合运动学约束。第二条是动作可控性给不同的动作输入生成的画面变化要跟动作语义一致不能输入“向左”结果画面往右动。第三条是长时稳定性至少能稳定预测五十步以上画面不糊不崩。目前开源的视频生成模型在这三条上表现参差不齐。物理一致性普遍还行因为训练数据里物理规律比较一致动作可控性就差一些很多模型对动作输入不敏感生成的变化主要靠随机性长时稳定性是最弱的基本跑二十步就开始糊。4.3 训练数据的质量评估合成出来的数据不能直接用得先评估质量。我一般从三个维度看。第一个维度是动作合理性把合成动作画成轨迹图看有没有明显的跳变或者不连续。第二个维度是视觉真实性用人眼抽查一批生成帧看有没有明显的伪影。第三个维度是任务相关性合成数据里的场景和任务得跟目标应用匹配不能拿厨房视频去训练工业装配。评估通过的数据才能进训练集。我通常会保留一个“干净”的真机数据集作为测试集合成数据只进训练集这样能真实反映合成数据带来的增益。如果合成数据把测试集也污染了那评估结果就没意义了。5. 常见问题与排查技巧实录5.1 动作预测抖动严重这是最常见的问题。原因通常是模型对相邻帧的微小变化过度敏感把噪声当成了动作信号。解决办法有三个一是增大训练数据里的动作平滑度在生成训练对的时候对动作做低通滤波二是给模型加一个时序平滑损失惩罚相邻预测动作之间的差异三是后处理时用卡尔曼滤波代替滑动平均卡尔曼对突变和噪声的区分更好。5.2 生成视频的物理规律崩坏世界模型生成视频时经常出现物体突然消失、机械臂穿过桌面这类问题。根因是模型没有显式地建模物理约束它只是从数据分布里采样采样到不合理状态时也不知道。缓解办法是在训练时加入物理约束损失比如惩罚物体位置的突变、惩罚机械臂关节角超出限位。另一个办法是在推理时做约束采样每一步生成后检查物理合理性不合理就重新采样。5.3 合成数据训练的策略迁移失败有时候合成数据训出来的策略在仿真里表现很好一到真机就崩。这通常是域差距导致的。视觉上的域差距可以用风格迁移或者域随机化来缓解物理上的域差距更难搞。我的经验是合成数据里要混入至少20%的真机数据让模型在训练时就能看到真实世界的分布。纯合成数据训出来的策略迁移成功率会低很多。5.4 常见问题速查表问题现象可能原因排查方法解决手段动作抖动严重模型对噪声敏感可视化动作序列加时序平滑损失、卡尔曼滤波视频物理崩坏缺少物理约束逐帧检查生成画面加物理约束损失、约束采样迁移失败域差距过大对比仿真和真机观测分布混入真机数据、域随机化长时预测糊化误差累积观察预测帧清晰度变化定期用真机观测校正动作幅度偏小回归均值效应统计预测动作的方差加方差正则、用L1损失5.5 几个容易忽略的实操细节第一个细节是视频帧的选取。不要等间隔取帧因为动作快的时候相邻帧差异大动作慢的时候相邻帧几乎一样。我一般用光流或者帧间差分来自适应选帧差异大的地方多取几帧差异小的地方少取几帧。第二个细节是动作空间的坐标系。不同数据源的坐标系可能不一样有的用世界坐标系有的用相机坐标系。混在一起训练前一定要统一到同一个坐标系否则模型会学出矛盾的动作映射。第三个细节是训练时的课程学习。先用简单的、动作幅度大的数据训让模型先学会大方向再用复杂的、动作精细的数据微调。这样比一上来就混着训收敛快很多最终精度也更高。6. 我个人的一些经验体会这套东西我断断续续折腾了大半年最大的感受是生成式AI合成训练数据这件事现阶段更像是一个“放大器”而不是“替代品”。它能把少量真机数据的价值放大十倍百倍但完全不用真机数据就想训出能用的策略目前还不现实。逆动力学这条线是我觉得最务实的。它的门槛不高一个中等规模的视觉backbone加上几万条仿真训练对就能跑起来效果也够用。世界模型那条线想象力更大但工程上的坑太多适合有资源有耐心的团队去啃。还有一个体会是数据质量比数据数量重要得多。我早期贪多什么视频都往里塞结果模型学出来的动作乱七八糟。后来精简了数据源只保留跟目标任务相关的视频动作预测精度反而上去了。合成数据这件事宁缺毋滥。最后分享一个小技巧如果你手头的真机数据很少可以先用它训一个粗糙的逆动力学模型然后用这个模型去标注大量无标签视频再用标注后的数据训一个更好的模型。这个自举的过程能显著降低对真机数据的依赖我实测下来能把真机数据的需求量降到原来的三分之一左右。