【免费下载链接】video_to_data_challenge项目地址https://ai.gitcode.com/hf_mirrors/nvidia/video_to_data_challenge点击查看免费下载在 NVIDIA 的V2D ChallengeVideo to Data Challenge中Track 2 考察的是“机器人定位与策略落地”输入带不同噪声层级的人类演示轨迹输出可执行的机器人策略。很多选手只盯着 parquet 里的姿态列却忽略了真正决定物理合理性的两类文件——ground_plane/下的地面平面 JSON 和support_surface/下的 USD 支撑面。本文带你把这两个“物理锚点”彻底讲透让你还原出的运动参考既贴合地面、又不穿模。一、Track 2 数据集长什么样Track 2 包含 30 个人物交互 episode22,990 帧、30 fps分成两个平行的 tierTier目录轨迹特点Tier 1: multiview captiontier_1_multiview_caption/SOMA-X 原始重建轨迹上界输入Tier 2: synthetic noisetier_2_synthetic_noise/带抖动、丢帧、接触误差的扰动轨迹两个 tier共用同一套地面平面、同一套 G1 支撑面、同一批视频因此物理锚点文件完全一致。每个 tier 都是完整的 LeRobot v2.1 数据集详见 track_2/README.md。二、Ground Plane JSON地面不是 z0别想当然1. 文件在哪里每个 episode 的地面平面文件由元数据声明。打开 meta/episodes_metadata.jsonl每行都有{ episode_index: 0, sequence_id: 2026-06-04_14-16-23_tall_bar_stool_tip_up_04, ground_plane: ground_plane/2026-06-04_14-16-23_tall_bar_stool_tip_up_04.json, support_surface: support_surface/2026-06-04_14-16-23_tall_bar_stool_tip_up_04_support.usda, support_surface_frame: g1_retarget_world }命名规则也写在 meta/info.json 里ground_plane/{sequence_id}.json。也就是说sequence_id是串起 JSON、USD 和 episode 的主键。2. JSON 结构逐项解读以 spray_bottle 的平面文件 为例{ plane: [-0.0184, -0.9983, -0.0547, 1.3852], n_inliers: 475990, n_candidates: 872446, n_total_points: 2827404, foot_plane_dist_stats: { mean: 0.0346, std: 0.0174, min: 0.0013, max: 0.141 } }字段含义plane归一化系数[a, b, c, d]表示平面方程ax by cz d 0n_total_points/n_candidates/n_inliers拟合点云规模 → 候选点 → RANSAC 内点数可用于判断拟合质量foot_plane_dist_stats双脚到平面的距离统计均值约 3.5 cm接近袜子鞋底的合理厚度说明拟合可信3. 关键坐标系源 OpenCV 世界系info.json中ground_plane_convention明确写着axbyczd0 in source OpenCV world frame即平面系数与 parquet 里的observation.object.poseworld_T_object四元数 w 在前使用同一个 OpenCV 世界坐标系。注意两点OpenCV 坐标系是Y 向下、Z 向前上面例子中法向约(0.02, 1.0, 0.05)说明竖直方向在 Y 轴附近地面绝不是简单的z 0官方文档特别警告复现 retargeted 训练参考时不要用水平世界平面去替换这份拟合平面见 tier_1 的 README。SOMA 到 G1 的重定向会把这个平面沿首帧锚点变换替换掉它会直接破坏脚-地接触关系。 小技巧判断某点在地面哪一侧、离地面多远直接算a·x b·y c·z d即可系数已归一化结果就是带符号的垂直距离。三、USD 支撑面给机器人一张不会穿模的桌子1. 文件格式支撑面文件是 USD 静态碰撞场景例如 spray_bottle 的支撑面#usda 1.0 ( defaultPrim support_surfaces metersPerUnit 1 upAxis Z ) def Xform support_surfaces { def Cylinder object_0 ( prepend apiSchemas [PhysicsCollisionAPI] ) { uniform token axis Z double height 0.04 double radius 0.0466 double3 xformOp:translate (-0.670, 0.759, 0.858) } }要点一览单位是米Z 轴朝上metersPerUnit 1、upAxis Z与 OpenCV 系的地面 JSON 不同它工作在G1 重定向世界support_surface_frame g1_retarget_world碰撞体带PhysicsCollisionAPI是 Isaac 系仿真器可直接加载的静态碰撞几何30 个 episode 里共 12 个含支撑圆柱其余 18 个是纯地面任务纯地面 episode 也有一份合法的空 stage根节点support_surfaces下没有子物体例如 white_desk 的空支撑面——路径必须存在不能跳过。2. 放置位置的官方约定README 给出的落盘路径是motion-root/whole_body/reconstructed_stage/sequence_id_support.usda即在 grounding 或训练之前把声明的那份 USD 文件与 G1 重定向后的运动数据集放在一起仿真器就能读到与演示一致的桌面/支撑几何。多物体场景下如 cyan_water_bottle 的支撑面会包含多个Cylinder碰撞体逐一描述各个支撑面。四、实战工作流三步建立物理一致的训练参考读元数据从 episodes_metadata.jsonl 取sequence_id、ground_plane、support_surface三个字段建立 episode ↔ 物理资产映射校验姿态可见性observation.object.visible为 false 时物体姿态是全零零四元数不是合法旋转先过滤可见性再使用姿态物体名即网格目录如white_desk→mesh/white_desk/white_desk.glb保持坐标系配对地面 JSON 用于 OpenCV 世界系下的脚-地距离校验与 retarget 锚定USD 用于 G1 世界下的仿真碰撞。两者坐标系不同切勿混用。 由于 Tier 1 与 Tier 2 的物理锚点逐字节相同在噪声层级间做消融对比时你可以确信差异只来自轨迹本身。五、总结文件坐标系用途常见坑ground_plane/*.json源 OpenCV 世界系拟合地面平面retarget 锚定、脚-地校验误当成水平面z0或y0support_surface/*.usdaG1 重定向世界米、Z-up静态碰撞防穿模 grounding/训练空 stage 也要按约定路径放置把这两类文件用对你的重定向参考就能踩实地面、站得住桌子——这正是 V2D Challenge Track 2 评分AUC、SP-SR、MP-SR、MPPE背后物理合理性的关键来源。更多数据细节可参考 track_2/README.md 与各 tier 的 meta/info.json。赞分享【免费下载链接】video_to_data_challenge项目地址https://ai.gitcode.com/hf_mirrors/nvidia/video_to_data_challenge点击查看免费下载相关推荐MCreator 生物群系地面方块Ground Block参数详解选材规则、生成原理与性能优化MCreator 生物群系地面方块Ground Block参数详解选材规则、生成原理与性能优化 在 MCreator 的 Biome生物群系元素中低代码代码生成桌面应用游戏开发trajectory.npz与metadata.json深度解读120帧物理真值如何支撑视频模型的物理推理trajectory.npz与metadata.json深度解读120帧物理真值如何支撑视频模型的物理推理 object permanence 是 WROP数据集人工智能Amlogic S905L3B 机顶盒刷入 Armbian 并安装到 eMMC从 U 盘验证到独立运行的完整避坑指南Amlogic S905L3B 机顶盒刷入 Armbian 并安装到 eMMC从 U 盘验证到独立运行的完整避坑指南 手头有一台 Amlogic S905L3嵌入式固件开发工具上一篇react-redux-typescript-guide异步流处理使用redux-observable管理副作用下一篇open-age-detection革命性AI年龄检测工具精准识别5大年龄组的终极指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考