春晚机器人惊艳背后的具身智能难题看过今年春晚武术节目《武BOT》的人定会对与人类武者同台对打的机器人印象深刻。不过这些流畅的武术动作是工程师团队连续数周针对特定舞台、特定灯光反复调试的成果。那么为什么机器人在固定场景下表现良好换个环境、任务泛化能力就明显下降呢具身智能发展困境与LARYBench的提出具身行业缺少带动作标注的训练数据进行泛化学习而互联网上大规模人类数据是极具潜力的数据来源。为了让具身智能走向GPT时刻通过人类视频数据学习通用的、跨本体的隐式动作表征是关键。为此提出了LARYBench Latent Action Representation Yielding Benchmark一个指引从大规模的视觉数据学习到通用的隐式动作表征的系统化评测基准。实验表明在动作泛化和控制精度上通用视觉模型显著优于专门为具身智能设计的动作专家模型具身动作表征可从大规模人类视频数据中涌现。背景缺一把从视频到动作的标尺当前主流的Vision - Language - ActionVLA模型泛化能力受限于核心矛盾互联网上海量人类视频视觉信号丰富但缺乏将视觉信息转化为机器人可用动作表征的高效路径具体体现在数据、表征、范式三个层面的瓶颈。自2024年LAPA等早期工作提出以来基于隐式动作表征的研究陆续展开但缺少能独立衡量中间表征质量的标准基准动作表征领域还没有自己的ImageNet。LARYBench如何构建动作表征的标准化评测为填补空白提出LARYBench从本体动作和语义动作两个粒度出发系统评估隐式动作表征质量。评测数据集涵盖超一百万段精心标注的视频涉及151种不同类型动作包含62万对图像和59.5万条运动轨迹覆盖多样化机器人形态与操作环境。任务定义与评测流程评测核心逻辑是输入视频或图像序列通过待测的隐式动作模型提取动作表征z再通过浅层探测头验证z的质量。动作定义分为本体动作、原子语义动作、复合语义动作三个层级。针对不同粒度动作评测采用语义动作分类和本体动作回归两种验证方式。数据构建收集主流常用的第一视角人类数据和多视角、跨本体的机器人数据通过自动化数据处理流程构建动作表征数据集涵盖151个明确定义的动作和121.5万个标注样本。数据集覆盖11种不同机器人形态记录数千种独特物体操作场景保证了形态和环境的多样性。实验设置评测按任务类型分为本体动作任务和语义动作任务。待评测模型覆盖四类动作表征范式形成从专项到通用的完整能力参照。实验结果通用视觉模型的全面领先论文实验围绕三个核心问题展开从本体动作回归、语义动作分类、可视化分析和消融实验四个维度进行。本体动作回归第一/三人称机器人动作预测本体动作回归任务评估模型将视觉信号还原为末端执行器绝对位姿的能力。评测覆盖四个数据集所有模型以均方误差MSE评估数值越低精度越高。综合来看DINOv3平均MSE低至0.19具身专项模型LAPA平均MSE高达0.97语义级表征回归误差普遍略低于像素级表征。语义动作分类语义动作分类评估模型对高层动作语义的识别能力按数据来源分为三类任务。综合来看语义级通用编码器在三类任务上持续领先具身专项模型表现普遍偏低通用LAM居中。视觉自监督学习在动作语义捕捉上优于图文对比学习。可视化分析为探讨实验结论原因进行了长尾分布分析和表征可视化分析。长尾分布分析表明表征能力更强的模型在低频场景下泛化表现更好。表征可视化分析显示语义级表征模型注意力能精准聚焦像素级表征模型注意力分散具身专项模型注意力弥散。LAM消融实验为探究构建有效隐式动作表征的关键参数配置基于LAPA - DINOv3框架对码本大小、序列长度、隐空间维度及学习率等因素进行消融分析。结果表明在数据量一定条件下调整超参可有效提升动作表征效果序列长度与隐空间维度适当增大有利码本大小存在最优区间。LARYBench价值与展望LARYBench作为首个对隐式动作表征进行量化评估的系统性基准其核心价值体现在提供解耦的、跨本体、多粒度的评测标准揭示当前隐式动作模型的能力边界与改进方向验证人类视频数据在动作表征学习中的规模化价值。已将LARYBench评测数据集及配套代码开源欢迎社区开发者与研究者使用、反馈及贡献共同完善动作表征评估体系。那么具身智能未来将如何借助LARYBench实现更大突破呢