LeRobot新手入门指南3条命令跑通端到端机器人学习【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobotLeRobot 是 Hugging Face 开源的 PyTorch 机器人学习框架覆盖机器人数据采集、策略训练、真机部署的完整链路适合想入门具身智能但被硬件细节劝退的开发者。读完这篇 LeRobot 入门教程你能独立加载一个标准机器人数据集并启动一次真实策略的训练。 为什么值得从 LeRobot 学机器人想象一下你桌上有一台 SO-100 桌面机械臂希望它学会抓取杯子。传统路线是手动写控制逻辑、标定运动学、调参链路长且结果难以泛化。更直接的思路是演示学习——你手动演示几十遍让模型自己从数据中学到动作规律这正是 LeRobot 主打的端到端学习路线。再想象另一个场景你拿到几份别人录制的操作数据一份是视频一份是关节角度日志字段名互不相同根本没法合并训练。机器人社区的数据长期是碎片化的LeRobot 用统一的LeRobotDataset 格式解决了这个问题视觉数据存 MP4 视频或图片状态和动作存 Parquet 表格两者按帧严格对齐Hub 上已有数千个现成数据集可直接调用。 最小运行装好环境加载第一个数据集1. 环境准备Python 3.12 与安装 LeRobotLeRobot 要求 Python ≥ 3.12见 pyproject.toml。如果视频解码出错可能还需要ffmpeg——它负责把数据集里的 MP4 解码成图像部分平台会自动降级用 pyav 兜底。git clone https://gitcode.com/GitHub_Trending/le/lerobot cd lerobot pip install -e .[dataset].[dataset]这个 extra 装的是数据集读写所需的依赖datasets、pyarrow、视频解码库等。装完可以运行lerobot-info查看系统信息摘要确认 PyTorch、ffmpeg 版本都在。2. 最小运行加载 aloha_mobile_cabinet 数据集from lerobot.datasets.lerobot_dataset import LeRobotDataset dataset LeRobotDataset(lerobot/aloha_mobile_cabinet) print(dataset[0][action].shape)第一次加载时会自动从 Hugging Face Hub 下载并缓存到本地。这里选aloha_mobile_cabinet是因为它是一个经典的双臂操作任务数据集官方示例训练默认就用它。3. 结果验证确认动作数据的形状如果终端打印出类似(1, 14)的形状说明视频解码、数据索引、特征字段都工作正常——这个数据集里action是双臂各关节的 14 维目标角度。再随手取一个键看看还有没有observation.state、task任务描述等字段你就已经摸到了 LeRobotDataset 的完整结构。⚙️ LeRobot 内部四个值得理解的设计概念LeRobotDataset标准数据集格式上面用到的核心。视频/图片负责看得见Parquet 负责读得动加载器自动完成视频解码代码里你只拿到对齐好的张量和数值。格式细节在 docs/source/lerobot-dataset-v3.mdx。Robot 统一接口所有真机都被抽象成同一个Robot类——connect()连接、get_observation()读传感器、send_action()下发动作。换一台机器人只需换配置和类名上层控制逻辑一行不用改。SO100、LeKiwi、Koch、Unitree G1、Reachy2 等设备都已内置支持。Policy策略模型LeRobot 用纯 PyTorch 实现了主流策略按用途分五类类别代表模型模仿学习ACT、Diffusion、VQ-BeT强化学习HIL-SERL、TDMPC视觉语言动作模型VLAPi0、Pi0.5、GR00T N1.7、SmolVLA世界模型VLA-JEPA、LingBot-VA奖励模型SARM、TOPReward、RobometerVLA 即 Vision-Language-Action 模型简单说就是看懂画面、听懂指令、直接输出动作的端到端模型右图就是这类策略的典型架构视觉语言主干编码观察注意力模块生成动作序列。Processor处理器管线喂给策略之前观测和动作要经过归一化、重命名、设备搬运等一系列加工。LeRobot 把这些做成可组合的处理器链挂在策略的前后处理位置新手训练时无需关心调优时可以逐层查看。实现都在 src/lerobot/processor/。 实战训练并评估一个 ACT 策略挑最典型的一条完整链路走一遍输入是 Hub 上的aloha_mobile_cabinet数据集处理是 ACT 策略的训练循环输出是可复用的模型检查点。输入 → 处理训练就是一个配置驱动的脚本指定策略类型和数据集即可lerobot-train \ --policy.typeact \ --dataset.repo_idlerobot/aloha_mobile_cabinet训练过程中按步保存检查点到本地配置会写入train_config.json之后可用--config_path指向任意检查点加--resumetrue断点续训也可以把训好的模型直接推送到 Hub 与他人共享。处理 → 输出模型训好后下一步通常是评估。LeRobot 内置了 LIBERO、MetaWorld 等仿真基准一条命令即可跑lerobot-eval \ --policy.pathlerobot/pi0_libero_finetuned \ --env.typelibero \ --env.tasklibero_object \ --eval.n_episodes10这里的--policy.path也可以指向你自己刚训出的本地检查点目录n_episodes控制评测回合数跑完会输出成功率等指标。真机评测则走同一套接口只是把仿真环境换成机器人。❓ 自救手册新手最容易卡住的四个问题问pip 安装报错或功能缺失先确认 Python 版本 ≥ 3.12再按需补装 extra录制/回放真机数据装.[core_scripts]训练装.[training]全都要装.[all]。extra 清单在 pyproject.toml 里都有注释。问加载数据集时报视频解码错误通常是缺ffmpeg用包管理器装一个即可部分平台如 Intel 版 macOS、Linux ARMTorchCodec 不提供 wheel框架会自动回退到 pyav无需额外操作。问连不上机器人或摄像头确认装了硬件相关 extra如.[feetech]、.[hardware]然后按顺序排查USB 是否插稳、系统是否给当前用户开放了串口/摄像头权限Linux 上常需把用户加入 dialout/video 组、驱动是否就绪。lerobot-find-cameras和lerobot-find-port可以帮你定位设备。问显存不够训不起来换更小的策略如 SmolVLA 这类轻量 VLA训练配置里开启 bf16 混合精度官方文档 docs/source/hardware_guide.mdx 给出了每个策略的 GPU 显存和训练时长参考。LeRobot 把采数据、训策略、上真机压进了同一套工具和格式里新手最大的收益是可以用几行代码接触到原本需要搭一套系统才能做的事。沿着下面的入口继续挖可以覆盖从数据集到策略的全部细节官方文档docs/source/策略模型实现src/lerobot/policies/数据集模块src/lerobot/datasets/训练示例脚本examples/training/train_policy.py贡献指南CONTRIBUTING.md【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考