具身智能项目做到一定阶段所有人都会撞上同一堵墙机器人缺数据。我到现在还留着那段录像机械臂端着一杯水在桌面附近反复试探杯沿已经碰到桌子边缘但手腕不知道该怎么翻转最后把水漏了一桌。这其实是绝大多数具身智能项目最真实的起点——不是模型不够强是机器人根本没见过人类怎么稳稳把杯子放到目标位置这类操作数据。过去半年我一直在跑一套组合方案用MOXI平台统一遥操作采集链路动捕手套选了Manus方案把“人类演示动作”高质量地变成“机器人轨迹数据”从数据采集一路做到真机部署把一条完整的数据飞轮转了起来。这篇文章把中间的技术决策、链路细节、踩坑记录完整拆开聊一聊适合正在搭数据采集系统的同学也适合想搞清楚具身智能为什么离不开动捕数据的算法同事。1. 为什么具身智能最先卡在“数据”上——以及遥操作与动捕为何是最优解先厘清一个前提具身智能这两年网络结构迭代速度很快模仿学习、扩散策略、视觉语言动作模型大家都在用类似的特征提取器和回归头。算法结构趋同之后真正拉开差距的变成了“喂给模型什么数据”。模型可以理解为一台高性能引擎但引擎再强加的是劣质汽油也跑不出性能。1.1 三路数据来源为什么最后只剩遥操作当前能获取机器人操作数据的途径大致有三类互联网视频、仿真数据、真机遥操作采集。互联网视频量最大YouTube和短视频平台上有海量人类操作视频但严重缺少“动作信号”。视频里能看到手做了什么却无法知道每根手指此刻的关节角度、手腕施加的力有多大、手臂末端在三维空间里的精确轨迹。这部分信息建模不出来模型学到的是“看起来像”而不是“能执行”。仿真数据解决了一部分动作信号问题可以在物理引擎里生成大量轨迹和状态。但仿真到现实存在迁移鸿沟接触摩擦、物体形变、相机噪声、机械臂响应延迟这些在仿真里都难以还原。尤其涉及柔性物体——叠毛巾、撕包装袋、穿鞋带——仿真数据的价值断崖式下降。剩下最靠谱的就是真机遥操作采集。人类操作员直接操纵机器人完成任务机器人的关节角、末端位姿、夹爪开合力、相机画面被同步记录下来。每一条数据都是“观测动作”的精确配对且完全处于机器人的真实运动学空间内不存在分布外的问题。1.2 为什么必须动捕不能靠机械臂示教有些团队觉得遥操作就是用手臂拖拽机械臂记录示教轨迹简单粗暴。但真做过桌面抓取、倒水、插排插这一类任务就会发现绝大多数难度在“手”上不在“整臂”上。机械臂示教只能拿到末端的六维位姿轨迹而手指的精细动作——捏、拧、搓、按压——完全无法通过拖拽机械臂表达。拿插USB线举例任务成功与否往往取决于最后两厘米的朝向微调以及两指之间的微小开合动作。这些信息只有佩戴动捕手套才能完整数字化。Manus这一级别的动捕手套本质是一套分布在手指各指节的惯性测量单元阵列通过传感器融合算法实时估算每根手指的关节弯曲角度和手部全局姿态。它解决了两个关键问题一是手部动作的连续、高频数字化二是操作员手部与机器人末端之间动作空间的映射。1.3 数据飞轮到底“飞”在哪里飞轮的逻辑并不复杂跟你滚雪球一个道理先用一批人类演示数据训练出一个尚可使用的策略把这个策略部署到真机上去跑它会遇到很多没见过的边界情况——物体放歪了、光照变了、某个物体的形状跟训练数据不太一样。这些“策略不会做”的时刻恰恰是最有价值的训练数据。把它们回收到数据集里重新训练策略就变得更稳健能处理更多场景进而遇到更难更偏的数据如此循环。这套循环里遥操作和动捕承担的是最前端的“数据生产”环节。飞轮转得快不快很大程度上取决于数据生产端的信息保真度和吞吐量。这也是我把MOXI平台和Manus手套放在一起的初衷解决“怎么高效、不丢细节地采集操作数据”这个飞轮的起点问题。2. MOXIManus整套数据链路的架构拆解从手套到机器人关节的每一环聊完了“为什么”再来看“长什么样”。MOXI在本文里指我们自建的一套遥操作与数据采集平台名称就是我们内部对这个系统的代号。它不特指某个商业产品而是一个把动捕手套、机械臂、相机、数据处理逻辑统一串起来的中间层。2.1 硬件层的四个组成部分整套采集工位分成四块机器人本体、动捕手套、视觉感知、计算节点。机械臂方面用的是某款七轴协作臂七轴比六轴多了一个冗余自由度末端姿态微调更灵活也更贴近人类手臂的运动特性。夹爪最初选了二指平行夹爪后来对开瓶盖、拔插头这类任务换成了带力控的三指夹爪数据表达能力更强。动捕手套用的就是标题里提到的Manus方案。穿戴上以后食指、中指、无名指、小指、拇指的每个指节都能输出弯曲角度配合手背上的位置追踪模块还能拿到整只手的六自由度位姿。整套手套的好处是采样频率能到300Hz左右延迟体感很低长时间穿戴之后的舒适度也在线。视觉感知用的是两台消费级RGB-D相机一台固定在第三视角俯拍工作台一台装在操作员肩部提供第一视角。深度信息对后续合成点云、做遥操作中的三维重建很有用。2.2 MOXI平台承担的四个核心职责硬件只是躯干MOXI这个中间层才是大脑和神经。第一个职责是坐标变换。手套输出的手部位姿是手套自身坐标系下的数据机械臂末端要执行的是机械臂基座坐标系下的目标位姿中间隔着操作员的身体位置、桌台高度、手套偏移量。MOXI在初始化阶段会执行一次标定求出固定的变换矩阵之后所有数据流过它时自动完成坐标系转换。第二个职责是动作映射。手部全局位姿和机械臂末端位姿维度一致可以直接映射手指关节角和夹爪开合量则需要单独处理。手指弯曲的角度范围与夹爪开合距离范围不同我采用了一段分段线性映射把手指的弯曲百分比映射到夹爪开合百分比。后面踩坑部分会细讲这段非线性问题。第三个职责是时间同步。手套、相机、机械臂控制器的采样频率各不相同手上300Hz、相机30Hz、机械臂100Hz。MOXI在录制时给每条数据都打上统一的时间戳特别冷启动和停机时用系统时钟对拍离线后再按目标频率做重采样对齐确保每个动作帧都有对应的视觉帧。第四个职责是数据打包与回放。每采集完一段演示MOXI会生成一个标准格式的数据目录包含图像序列、深度序列、关节轨迹、动作指令、文本描述。内部集成了一个简易回放器可以逐帧查看轨迹和对齐程度当场发现问题当场重采。3. 搭建第一版数据采集工位硬件选型、坐标对齐与延迟控制这一节会比较偏工程实操也是整套方案里最容易走弯路的部分。设备买回来连上线只是第一步真正花时间的在于让各个设备在同一个时空里和谐工作。3.1 为什么选手套而不是力反馈遥操作臂前期调研对比过专业遥操作臂方案带力反馈的那种整套下来成本高出一个数量级而且占地大、维护复杂。更重要的是大多数桌面操作任务的瓶颈不在力感知而在手部姿态的还原度。协作臂本身已经带有不错的力反馈能力操作员虽然摸不到真实的物体但通过相机的视觉反馈配合夹爪的力传感器读数基本能建立足够的临场感。如果任务变成手术缝合、精密装配这一类对力反馈敏感的细粒度操作职业遥操作臂的价值才会凸显。当前场景下动捕手套是性价比最高的方案同时数据采集不受线缆束缚——操作员可以直接站在工位旁做演示无需被机械结构限制动作范围。3.2 坐标系对齐的实操方法坐标对齐做不好采集回来的数据就是废的。我第一次搭建时偷懒手套坐标系和机械臂坐标系直接用默认值结果策略训练出来之后机械臂总往桌面右侧偏移几厘米。后来采用了一套较稳的标定流程在桌面上固定一个已知几何尺寸的标定块操作员佩戴手套用手指触碰标定块的三个已知顶点记录手套坐标系下指尖的位置同时用机械臂的末端分别移动到同样三个顶点记录机械臂基座坐标系下的位置。拿到三对对应点之后用最小二乘求取刚体变换矩阵误差普遍能压到1厘米以内。需要注意标定块的高度要和工作任务中常见的物体高度保持一致。如果又做桌面任务又做桌面下方的抽屉任务建议分别标定两套变换矩阵切换任务时手动加载而不是用一个全局变换硬扛。3.3 延迟操作员比你更敏感无线动捕手套带来的延迟叠加通信传输、中间层处理、机械臂执行总延迟如果超过100毫秒操作员会明显感觉“手不听使唤”采集效率和动作质量都会下降。我在实战中将工程链路控制在80到120毫秒左右具体拆分如下手套SDK数据融合与传输约20毫秒无线网络传输约10毫秒MOXI坐标变换与映射运算约10毫秒机械臂控制系统响应约40毫秒相机画面显示给操作员约30毫秒另走一路降低延迟最直接的手段是手套SDK尽量只开启远程模式关闭渲染减少本机计算负载相机画面单独走低延迟模式机械臂控制频率调到250Hz以上。数据采集的SOP同样重要。我要求操作员每次采集前先做五分钟的预热操作包括张开握紧、转动腕部、指捏小球目的是让手套的传感器适应手部温度变化减少零点漂移。预热之后执行一次零点校准然后才开始正式录制。4. 数据格式与“飞轮”的转动逻辑一段操作如何变成策略训练样本采集系统稳定跑起来之后下一个问题很直接录到的数据到底长什么样拿什么结构喂给策略模型以及飞轮到底从哪一步开始转。4.1 标准数据包的结构设计以一段“拿起杯子放到指定位置”的演示为例MOXI产出的数据包包含如下组成部分数据字段维度说明frame_id标量帧序号timestamp标量微秒级时间戳hand_joint_angles22维五根手指的关节弯曲角hand_pose7维手部全局位姿四元数表示ee_pose7维机械臂末端位姿gripper_command标量夹爪开合量0~1rgb_image图像每个视角为单帧RGBdepth_image深度每个视角为单帧深度instruction文本“放下杯子到红色区域”之所以把hand_joint_angles和ee_pose分开记录是因为两种坐标空间不同训练的后期可能只使用其一。例如有些策略算法只依赖末端轨迹有些则需要完整的手部关节信息来执行灵巧操作。数据格式越原始、越不经过预处理复用的灵活性就越高。4.2 从原始数据到训练样本的转换管道原始数据不能直接进模型。实操中我按四个步骤做转换第一步是重采样对齐把所有信号按控制频率统一重采样。比如机械臂本体控制频率是100Hz那么一条15秒的演示最终得到1500组同步的观测-动作对。第二步是归一化和滤波对手部关节角做平滑滤波去除高频抖动对相机画面做统一的白平衡和曝光校正减少不同时间段采集的图像风格漂移。第三步是数据增广包括左右镜像、轨迹时序扰动、夹爪开合时序抖动。特别要注意左右镜像时必须同步交换指令文本中的左右语义像“把杯子放到左边的托盘”这种指令镜像后要修改为右边。第四步是切分为训练集和验证集。验证集必须按“未见过任务的演示片段”划分而不是随机抽帧。如果按帧随机划分同一段演示前后帧才能互相“作弊”获得虚高的验证指标。4.3 飞轮的第一圈怎么转起来完整飞轮的起步流程我拆成了四步先采集小规模种子数据。第一批只做3到5个任务每个任务采集80到100条演示覆盖操作员、不同物体位置、不同颜色外观。这个阶段的核心目标是快点跑通训练和部署链路而不是追求数据量。然后用种子数据训练基础策略不在仿真里过度调优能跑就上真机。部署到真机后设置一个自动回录机制——当策略给出的动作置信度低于阈值或者任务在规定时间内没有完成时系统自动保存这一段传感器流。接着人工回看回录片段并筛选。这一步价值很大经验是大约30%的目标记录确实值得入库剩下的或是对齐错位或是操作员操作失误。这个比例会随策略迭代逐步下降。最后把筛选后的数据经过同样的数据包格式回存到数据集再次训练飞轮完成第一圈旋转。5. 真机部署与数据回流策略上线后如何反哺采集侧数据采集和训练跑通只是前半程真正的考验是把策略部署到真机上——之前在仿真里没暴露的问题这时候全都会冒出来。5.1 部署前必须检查的安全底限具身智能策略部署不是单纯地把模型权重加载进控制器。我整理了三道安全保险机械层面设置末端最大速度限制通常是人工操作示范速度上限的80%防止策略在异常状态下猛冲。夹爪夹紧力设置阈值超过阈值自动回退。控制层面加入预测与真值的偏差监测当策略输出的目标位姿与机器人的实际状态偏差突然变大时立即暂停执行并请求人工介入。软件层面订阅一条独立于策略进程的看门狗通道主进程中任何一步计算超时都会触发停机而不是让机器人僵在原位。这些措施听起来保守但真机调试中我遇到过策略对特定光照生成异常轨迹的情况如果没有速度限制夹爪会直接朝桌面边缘撞过去。5.2 部署中的推理频率与稳定性策略模型在真机上的运行结构并不复杂从多路相机采集画面拼接后输入视觉编码器提取特征后送入动作解码器输出下一时刻的末端位姿和目标夹爪开合量。整个推理链路在200Hz的控制周期内完成对计算负载比较敏感。我实测下来单块中等性能的GPU足够支撑轻量视觉编码器加扩散策略的实时推理。如果模型加大优先做画面降采样而不是压缩控制频率。控制频率一旦从200Hz降到50Hz同样的策略在真机上的成功率可能直接下降5到10个百分点因为末端轨迹的插值颗粒变粗容易错过细微的接触反馈。5.3 回流数据的选取规则数据回流不能做到全量自动入库否则噪声会污染整个训练集。我的筛选分级如下表记录来源处理方式说明任务成功且置信度平稳直接入库高价值数据保留完整轨迹任务失败但执行意图清晰人工标注后入库需要修正错误动作段任务失败且轨迹混乱暂存观察可能包含有价值的边界状态机器自动异常记录大部分丢弃通常由传感器闪断导致这一个回流环节的价值在“开抽屉”任务上体现得最直观。第一版策略部署后成功率约90%回流的失败数据主要集中在抽屉卡滞和手把位置偏移两类场景。补充了约500条边界案例数据后第二版策略成功率提升到98%。期间网络结构完全没动纯粹是数据分布补齐了盲区。回流数据与采集侧数据共用同一套schema是让飞轮转得顺畅的关键。MOXI在接入回流记录时自动补齐时间戳、坐标变换和图像序列确保新数据与原始种子数据无差别地混合避免了“训练数据格式不统一”这种低级问题。6. 实测中的踩坑记录手套漂移、轨迹抖动与批次不一致最后这部分是这半年踩坑的合集。很多问题不是逻辑上的硬伤而是设备特性带来的软坑网上文档里基本不会写。6.1 手套零点漂移采集半小时后夹爪“自己”半开动捕手套持续佩戴30分钟以上传感器温度变化和机械移位会让零点缓慢漂移。表现是操作员明明五指张开手套输出的手指弯曲角却显示处于半握拳状态映射到夹爪指令上就成了“机械爪永远半开着”抓取动作变形。规避方式分两个层面。操作层面要求操作员每采15分钟刻意做一次五指完全张开、完全握拳的“复查动作”并在软件里标注这一刻的读数作为浮动零点。算法层面数据后处理时不再使用绝对弯曲角而是使用相对前一帧的弯曲角变化量这样零点漂移带来的常量偏差会在差分操作中被消除。6.2 坐标跳变手部追踪被遮挡时的“瞬移”操作员的手臂交叉、手掌靠近桌面边缘时手套的位置追踪模块偶尔会丢失信号输出的手部位姿瞬间跳变几十厘米。如果这段数据直接进入机械臂执行会让机械臂产生一个猛甩动作既危险又毁数据。我的解决办法是加入两层过滤MOXI层对连续帧位姿变化做限幅单帧位移超过设定阈值时暂缓执行等待追踪恢复或保持在上一帧位置后处理阶段对轨迹窗口做平滑插值把丢失段的起止点均匀连接起来。两层过滤之后坐标跳变对真实策略训练的影响基本可以忽略。6.3 操作员批次不一致模型会记住“谁在操作”三位操作员分别采集各自批次的数据后我训练出的模型出现了一个有趣现象模型对某位操作员风格特别“上头”——那位操作员习惯快进快出地抓取模型也学得动作急另一位操作员动作稳而慢模型只要换到这个风格就表现出明显的犹豫。这其实是典型的批次偏差问题模型学到了“操作员身份”这个与任务无关的特征。解决方案有三个训练时混入不同操作员的数据这是治本手段数据增广时加大轨迹时序扰动的强度在数据包里加入操作员ID提示配合条件训练让模型学会忽略这个附带维度。6.4 夹爪映射的非线性真手与夹爪的运动学不等价真人的手指弯曲是两个以上关节的联动而二指夹爪本质上只有一个自由度。直接把手指弯曲百分比映射到夹爪开合百分比在接近完全张开和完全闭合的两端会出现明显的非线性区——手指接近伸直时夹爪开合的微小变化对应手指角度的大幅变化策略在夹取松软物体时表现不稳定。后来在标定环节增加了一组插值点分别记录“紧握”“半握”“自然伸开”“完全张开”四种手势下夹爪应该对应的开合量用分段线性插值替代全局线性映射。改完之后夹爪对杯壁、软布、细小线缆的抓取成功率提升明显。6.5 数据数量陷阱脏数据对策略的伤害是指数级的最后一坑非常反直觉很多人以为数据量越多越好实际上数据质量才是第一优先级。实验里哪怕混入15%的对齐错误数据策略成功率就可能从90%跌到75%以下。具身智能的数据清洗比模型结构选择更重要。我现在每天采集结束都会花15分钟用MOXI的回放器从头到尾过一遍所有片段肉眼标记明显异常帧。这个习惯看起来原始但避免了大量无效训练迭代。最后再分享一条我最近悟出来的体会数据飞轮能不能转起来核心不在某个炫酷的模型结构而在于把数据采集、清洗、训练、部署、回流当成一条基建流水线来对待。戴上手套之前先想清楚时间戳同步和坐标标定部署策略之前先设计好哪些失败案例值得自动回流。这些环节单独看都不难但把它们拼在一起踏实跑通具身智能项目就真正从“能看Demo”迈向了“能迭代系统”。