机器人训练数据的稀缺是这两年做具身智能的人最头疼的事。真机采数据贵、慢、还难规模化一条产线停半天可能就攒几百条轨迹而策略网络动辄要百万级甚至千万级的样本才能收敛。生成式AI的爆发给了另一条路用模型去造数据。但造这个字背后门道极多造得不好策略学到的全是模型幻觉上真机直接崩。我前后折腾过几套合成管线从纯仿真到视频驱动都踩过坑这篇就把目前主流的五条技术路线拆开讲清楚重点落在视频变动作这条最诱人也最难啃的路子上把逆动力学、世界模型这些概念落到能复现的层面。1. 为什么机器人训练数据非得靠合成1.1 真机采数据的三个死结先说清楚痛点不然容易觉得合成数据是花架子。真机采数据的第一死结是成本。一台协作臂加夹爪配上操作员和场地一小时的综合成本轻松上百采一条几十秒的精细操作轨迹背后可能是十几次失败重试。第二死结是覆盖度。你让机器人练抓杯子采了一万条结果全是白色马克杯换个透明玻璃杯策略就懵了因为视觉分布根本没覆盖到。第三死结是危险与不可逆场景。有些任务比如插拔带电接头、处理易碎品真机上试错代价太高采数据阶段就可能把硬件搞坏。这三个死结决定了真机数据适合做精调fine-tune和最终验证但预训练阶段的大规模数据必须靠合成。这不是偷懒是行业共识。合成数据的核心价值在于便宜地覆盖长尾——你可以生成一万种光照、一万种材质、一万种物体摆放而真机做不到。1.2 合成数据到底要合成什么很多人一上来就想着合成图像这是误区。机器人训练数据的最小单元不是一张图而是**观测动作对**也就是轨迹。观测可以是RGB、深度、点云、关节角动作是末端位姿增量或关节目标。合成数据的难点从来不在生成好看的图而在于生成和观测在物理上自洽的动作序列。举个具体例子你生成了一段机械臂把积木从A推到B的视频画面很真但如果动作序列里末端执行器的速度和视频里手的移动速度对不上策略学到的就是错的映射。所以合成数据的质量指标第一是视觉真实度第二是动作-观测一致性第三才是多样性。后面讲的五条路线本质上是在这三个指标上做不同的取舍。1.3 五条路线的整体地图我把目前能落地的路线归成五类从最可控但最不真实到最真实但最难控排开路线核心思路视觉真实度动作一致性落地难度纯物理仿真引擎里跑刚体/柔体动力学低-中高低仿真域随机化仿真基础上随机化渲染与物理参数中高中生成式图像增强用扩散模型美化仿真画面高中中世界模型 rollout学一个可预测未来的动力学模型中-高中高视频变动作从真实视频反推动作序列极高低-中极高这张表是全文的骨架。你会发现一个规律视觉真实度和动作一致性几乎是对立的。视频最真但动作最难反推仿真动作最准但画面最假。所有工程努力都是在往中间那个甜点区靠。下面逐条拆。2. 路线一与路线二仿真打底域随机化兜底2.1 纯物理仿真动作最干净但别指望它像真的纯仿真路线就是用MuJoCo、Isaac Sim、PyBullet这类引擎在虚拟环境里跑动力学直接拿到精确的动作标签。它的最大优势是动作标签是免费的、精确的、物理自洽的——引擎算出来的关节力矩、接触力、末端位姿全都是真值不需要任何反推。我早期做抓取任务时用Isaac Sim批量生成过几十万条抓取轨迹流程大概是随机化物体位姿→规划抓取→执行→记录观测动作。整个过程全自动一晚上能跑出几万条。但问题很快暴露仿真里的抓取成功率90%搬到真机上掉到30%。原因就是视觉域差距domain gap——仿真渲染的光照、材质、噪声和真实相机差太远策略过拟合到了仿真纹理上。所以纯仿真适合什么适合动作空间探索和粗策略预训练不适合直接部署。它的定位是数据量的底座不是数据质量的终点。2.2 域随机化用随机性换泛化域随机化Domain Randomization是纯仿真的自然升级。核心思想很朴素既然我模拟不准真实世界那我就把真实世界可能的样子全都随机化一遍让策略学会忽略这些变化。具体随机化什么视觉层光照方向与强度、物体颜色与纹理、相机内参、背景、噪声、运动模糊物理层摩擦系数、质量、阻尼、关节间隙、执行器延迟几何层物体尺寸、形状微扰、初始位姿我实测下来视觉随机化对sim-to-real的迁移帮助最大物理随机化次之。有个经验值光照强度随机范围开到±50%物体纹理用程序化生成的噪声贴图相机位置抖动±5cm这套组合能把真机成功率从30%拉到60%左右。但域随机化有个天花板随机化范围开太大任务本身变得不可学。比如你把摩擦系数随机到0.01物体根本抓不住策略学到的全是失败样本。所以随机化范围要贴着真实分布的边界调这需要你对目标场景有足够了解。我一般先用真机采一小批数据估计真实参数的分布再据此设定随机化区间而不是拍脑袋。注意域随机化不是万能药。对于接触密集的精细任务如插拔、拧螺丝纯随机化很难覆盖真实的接触动力学这时候就得考虑后面几条路线。3. 路线三生成式图像增强给仿真化妆3.1 为什么要在仿真图上做生成域随机化解决的是多样性但解决不了真实感。仿真渲染出来的图哪怕随机化再多那种塑料感、光照的均匀感还是和真实相机差一截。于是就有了第三条路线保留仿真的动作标签只把观测图像用生成式模型重绘成真实风格。这条路的逻辑非常聪明动作标签来自仿真天然精确视觉真实度交给扩散模型或GAN。相当于把动作和视觉解耦各取所长。具体做法是拿仿真渲染的图作为条件condition用ControlNet、img2img这类技术把仿真图翻译成真实照片风格同时保持几何结构不变。3.2 实操用扩散模型做sim-to-real图像翻译我做过一版基于Stable Diffusion ControlNet的管线步骤大致如下准备配对数据在仿真里搭一个和真实场景几何一致的场景真机采少量同场景数据形成仿真图-真实图配对。这一步不用多几百对就够。训练轻量适配器不微调整个扩散模型只训一个LoRA或ControlNet分支让它学会仿真风格→真实风格的映射。全量微调容易过拟合且贵。条件控制用Canny或Depth作为结构条件保证重绘后物体边缘、机械臂姿态不变。这一步是关键否则生成出来的图几何都变了动作标签就废了。批量翻译把几十万张仿真图过一遍翻译管线得到真实风格精确动作的数据集。实测下来这套方法能把真机成功率再往上提10到20个百分点。但有几个坑必须说几何漂移扩散模型有时会自作主张改动物体位置哪怕有ControlNet约束。我的对策是翻译后做一次几何校验用深度图或分割掩码比对漂移超阈值的样本直接丢弃。动作标签的时效性图像翻译是逐帧的如果相邻帧翻译后风格不一致闪烁策略会学到噪声。解决办法是用视频扩散模型做时序一致的翻译或者对相邻帧加一致性损失。成本几十万张图过扩散模型GPU账单不便宜。我一般先用小批量验证效果确认提升明显再全量跑。3.3 这条路的边界在哪生成式图像增强的本质是**视觉层面的域适应它不改变动作只改变观测。所以它能解决视觉域差距但解决不了动力学域差距**——比如仿真里接触力算错了图像再真也没用。对于以视觉感知为主的任务如抓取、放置这条路性价比很高对于力控密集的任务它帮不上忙。4. 路线四世界模型让AI想象未来4.1 世界模型到底是个什么东西世界模型World Model这两年热度很高但很多人理解得模糊。用一句话说世界模型是一个能根据当前观测和动作预测下一时刻观测的神经网络。它学的是环境的动力学学成之后你就可以在想象里 rollout 轨迹不用真的执行。为什么这对合成数据有用因为你可以让世界模型在潜在空间里疯狂探索生成大量如果这么做会怎样的虚拟轨迹这些轨迹既不需要真机也不需要物理引擎成本极低。Dreamer系列、以及后来的很多工作都是这个思路。4.2 世界模型生成数据的两种用法第一种是纯想象 rollout给一个初始观测让模型自己往前推演几百步得到一整条轨迹。这种数据适合训练价值函数或做规划但因为模型误差会累积长程轨迹往往越推越离谱。第二种是短程想象真实锚定只在真实观测附近做几步想象然后回到真实数据。这种数据质量高但多样性有限。我一般用第二种做精调第一种做粗预训练。世界模型的关键难点是误差累积。你推演10步可能还准推演100步就飘了。业界的对策有多步训练时用 scheduled sampling训练时逐步用模型自己的预测替代真值、在潜在空间而非像素空间做预测降维后误差更可控、以及引入不确定性估计飘得太厉害就截断。4.3 理想世界模型离我们还有多远热词里提到的理想世界模型指的是那种能完美预测物理世界、且泛化到任意场景的模型。坦白说现在离理想状态还很远。当前的世界模型基本是窄域专家——在训练分布内预测准出了分布就崩。而且它们对接触、形变、流体这类复杂物理的建模能力很弱。我的判断是世界模型短期内更适合做数据增广和规划辅助而不是替代仿真或真机。把它当成会想象的仿真器来用心态就对了。等哪天世界模型能在开放场景下稳定推演上千步那才是真正的范式转变。5. 路线五视频变动作最诱人也最难啃5.1 为什么视频变动作这么吸引人前面四条路线要么依赖仿真要么依赖模型想象都隔了一层。而互联网上有海量的真实操作视频——人类做饭、装配、整理这些视频里的动作是真实的、物理自洽的、视觉分布和真机完全一致的。如果能从这些视频里反推出机器人能执行的动作序列那相当于白捡了一个无限大的真实数据集。这就是视频变动作Video-to-Action的诱惑。它的输入是一段RGB视频输出是动作序列末端位姿或关节轨迹。听起来简单做起来极难因为视频里没有动作标签你得靠逆动力学模型去猜。5.2 逆动力学模型从看到什么反推做了什么逆动力学Inverse Dynamics这个词来自控制论原本指已知状态变化求产生这个变化的力/力矩。在视频变动作的语境下它指的是给定前后两帧观测推断中间发生了什么动作。为什么难因为这是一个病态问题ill-posed problem。同一个视觉变化可能由无数种动作造成。比如画面里杯子从左边移到右边可能是机械臂推的、可能是人拿的、可能是传送带送的。光看像素你分不清。而且视频里还有遮挡、模糊、相机运动进一步增加歧义。业界的做法通常是引入先验约束假设动作是平滑的、假设末端执行器在画面里可见、假设物理规律成立。有了这些约束病态问题才能变成可解问题。5.3 实操拆解一条视频变动作的完整管线我搭过一版从人类操作视频提取动作的管线拆成五步讲第一步手/末端执行器检测与跟踪。用现成的姿态估计或手部检测模型把视频里操作者的手或工具逐帧定位出来。这一步的精度直接决定后续动作质量。我踩过的坑是手被物体遮挡时检测会跳变需要加时序平滑如卡尔曼滤波来稳住轨迹。第二步相机标定与尺度恢复。视频是2D的动作是3D的必须把2D轨迹映射回3D。如果视频有已知相机内参可以直接反投影如果没有就得用单目深度估计或结构从运动SfM来估计。尺度是个大问题——单目视频没有绝对尺度你只能得到相对动作这对机器人执行是致命的。我的对策是引入一个已知尺寸的参照物或者用机器人自身的运动学约束来定标。第三步动作表示的选择。这里有个关键决策输出末端位姿增量还是关节角末端位姿更通用跨机器人平台但需要逆运动学IK转成关节角而IK在奇异点附近会失败。关节角直接可执行但和具体机器人绑定。我一般先输出末端位姿再用IK求解同时监控IK误差误差大的帧丢弃。第四步逆动力学模型训练。如果只是几何反投影得到的是手的位置轨迹还不是动作。真正的动作需要包含力/接触信息。这时候可以训一个逆动力学网络输入前后帧的视觉特征输出动作增量。训练数据从哪来用仿真或真机采的观测动作对来监督。这一步是整条管线的核心也是最吃数据的地方。第五步动作重定向与验证。人类的手和机器人的夹爪运动学不同需要做动作重定向retargeting。重定向后在仿真里回放验证把提取的动作喂给仿真机器人看能不能复现视频里的效果。复现不了的说明提取有误回炉。5.4 视频变动作的三个致命坑坑一尺度歧义。前面提过单目视频没有绝对尺度。一个杯子在画面里移动10像素可能是移动了1cm也可能是10cm取决于深度。没有尺度参照动作幅度就是错的。我见过有人直接用像素位移当动作训出来的策略在真机上要么幅度过大撞机要么过小没反应。坑二接触力缺失。视频只能看到运动看不到力。拧瓶盖这个动作视频里手在转但用了多大力不知道。而力控对很多任务是必需的。目前的补救办法是用视觉估计接触状态再结合物体材质先验去猜力但精度有限。坑三视角与遮挡。人类视频的相机视角千奇百怪很多关键动作被身体或物体遮挡。遮挡期间的动作只能靠模型脑补脑补错了就是脏数据。我的经验是宁可丢弃遮挡严重的片段也不要硬补。脏数据的危害比数据少大得多。5.5 视频变动作和世界模型的结合单独用视频变动作受限于尺度、力、遮挡三大坑。但如果把它和世界模型结合效果会好很多。思路是用视频变动作提取出粗略的动作骨架再用世界模型在潜在空间里补全和修正让动作在物理上更自洽。相当于视频提供意图世界模型提供物理约束。我试过这个组合在推、拉、放置这类准静态任务上效果不错动作一致性明显提升。但在动态任务如抛接、快速插拔上还是不行因为世界模型对高速动力学的建模太弱。所以这个组合目前适合慢速、准静态的操作场景。6. 五条路线怎么选一张决策表讲了这么多落到实操到底选哪条我整理了一张决策表按任务类型和资源条件来分你的情况推荐路线理由刚起步预算有限任务简单纯仿真域随机化成本最低动作标签免费先跑通流程视觉感知为主有少量真机数据生成式图像增强用少量配对数据换视觉真实度性价比高需要长程规划有算力世界模型 rollout适合做规划辅助和粗预训练有大量真实视频任务准静态视频变动作世界模型数据来源无限但工程复杂度最高力控密集精度要求高仿真真机精调合成数据打底真机数据收尾别指望纯合成这张表的核心逻辑是没有一条路线能通吃。实际项目里我基本都是组合用——仿真生成底座数据生成式增强视觉视频变动作补充真实分布最后用真机数据精调。合成数据负责量和覆盖真机数据负责准和稳。7. 实操中的通用避坑经验最后分享几条跨路线都适用的经验都是踩坑踩出来的。第一永远留一个真机验证集。合成数据再漂亮也得用真机数据验证。我习惯留10%的真机数据不参与训练专门做验证。如果合成数据训出来的策略在这个验证集上表现差说明合成和真实的分布差距太大得回去调管线。第二动作一致性比视觉真实度更重要。新手容易沉迷于生成好看的图但策略学的是观测动作映射。图再真动作错了全白搭。我现在的优先级是动作一致性 视觉真实度 多样性。第三数据清洗比数据生成更花时间。生成一百万条数据可能一晚上就跑完了但清洗出可用的可能只剩三十万条。几何漂移、动作跳变、遮挡严重的样本都得剔。别心疼脏数据留着就是毒药。第四从小规模验证再放大。别一上来就全量跑。先用一千条数据跑通生成→训练→真机验证的闭环确认有效再放大到十万、百万。我见过太多人闷头生成几百万条结果发现管线有bug全废。第五记录每一次实验的配置。合成数据的管线参数极多——随机化范围、扩散模型步数、逆动力学网络结构任何一个变了结果都可能不同。用实验管理工具把配置、数据版本、模型权重都记下来不然复现都复现不了。这套东西我折腾了挺久最大的体会是合成数据不是替代真机而是放大真机的价值。真机数据告诉你什么是对的合成数据告诉你什么可能的。两者结合才能让策略既准又泛。视频变动作这条路我目前最看好但它的工程门槛也最高建议先把仿真和生成式增强跑熟再啃这块硬骨头。