具身智能机器人人工智能大模型模型推理服务本地部署计算机视觉ROS【免费下载链接】IB_RobotSave the code of IB-Robot, an AI robot execution framework developed by openEuler Embedded for embodied intelligence scenarios. It includes references to the forked version of tensormsg, references to lerobot fork, code references to the lerobot_ros2:ros2_ws branch, as well as some code related to development usability.项目地址https://gitcode.com/openeuler/IB_Robot点击查看免费下载本文是一份面向 IB-RobotopenEuler Embedded 面向具身智能场景的 AI 机器人执行框架开发者的启动与排障实战指南。核心场景是通过src/robot_config/launch/robot.launch.py这一个统一入口按需组合 30 个 launch builder 拉起 control / perception / simulation / execution / navigation / voice / recording / tracing 等各类节点并在遇到配置校验失败、控制器不匹配、推理 pipeline 启动失败等典型故障时快速定位根因。读完本文你将掌握 25 个 launch 参数的语义与默认值、三种仿真后端gazebo / mujoco / mock的分发机制、新增机器人与离线调试契约的完整流程以及基于源码的故障排查方法。何时需要阅读本文需要选择正确的 launch builder 来组合启动节点control / perception / simulation / execution / navigation / voice / recording / tracing 等需要查阅robot.launch.py支持的 launch arguments 及默认值第一次启动系统、添加新机器人、调试契约合成时遇到配置校验失败、控制器不匹配、推理 pipeline 启动失败等问题需要排查时。Launch 系统单入口编排架构IB-Robot 的启动系统以src/robot_config/launch/robot.launch.py为核心入口。该文件通过OpaqueFunction编排在 launch 时动态加载机器人 YAML 配置并直接调用launch_builders/目录下的构建函数生成节点builder 之间无插件注册机制是一组固定的 facade门面模块这意味着新增子系统必须显式挂载到编排器中而不是通过注册表自动发现。仿真平台则通过sim_backend.get_sim_backend(platform)分发到三种适配器之一。从 sim_backend/init.py 的源码可以看到注册表结构_BACKEND_REGISTRY: dict[str, type[SimBackendAdapter]] { gazebo: GazeboAdapter, mock: MockAdapter, mujoco: MujocoAdapter, }get_backend_caps(platform)会在构建后端动作之前返回能力标志provides_clock、needs_ros2_control供 robot.launch.py 决定node_use_sim_time、auto_start_controllers与 ros2_control 的启停策略未知平台会抛出ValueError并列出可用平台。此外launch 编排中还有几个值得注意的 fail-fast 分支同样位于robot.launch.pybenchmark target 会跳过 ros2_control、simulation backend 与 physical perception打印[IBROBOT_BENCHMARK][SKIP]标记配置了runtime.provider如 so101_robot时硬件与控制器启动委托给机器人运行时单元auto_start_controllers自动置为false控制器启动采用单控制器组 spawner 作为就绪屏障_controller_readiness_barrier后续的 perception、navigation、execution 等控制相关动作会挂到OnProcessExit事件上等屏障退出成功后才启动。Launch Builders30 个按子系统分组的构建模块src/robot_config/robot_config/launch_builders/下共 30 个 builder 模块按职责可划分为以下分组分组Builders控制与描述control.pyros2_control 节点、controller spawners、description.pyURDF xacro 相机注入、hand_sources.py手部数据源 profiles感知perception.py相机/激光雷达驱动、虚拟 relay、perception_models.py来自perception_services.services的 typed model-service 插件、camera_isp_overrides.pyISP 标定仿真simulation.py分发、sim_backend/gazebo / mujoco / mock 适配器、sim_peripheral_bridge.pyros_gz 桥、hardware_mock.py契约驱动的 mock推理与执行execution.py命名推理管线 dispatch 路由、task_execution.pytask_executor_node导航navigation.py、nav2.py、localization.pyEKF RTAB-Map、navigation_command.pytyped command server、cmd_vel.py底盘桥、static_tf.py、fast_lio.py语音与音频audio_io.py、voice_asr.py、voice_tts.py、speech_direction.py、voice_nav.pyASR → Nav2 goal输出与可观测性recording.pycontinuous rosbag vs episodic recorder rerun viewer、benchmark.py、semantic_mapping.py、tracing.pyLTTng session、moveit.pymove_group RViz实际目录中还包括runtime.pyruntime provider 编排、teleop.py、interaction_demo.py等与robot.launch.py的launch_setup各节一一对应见 robot.launch.py 的编排顺序加载参数 → 解析 runtime target → 控制模式覆盖 → 控制节点 → 仿真节点 → 感知节点 → 遥操作 → 语音 → 导航 → 执行 → 记录 → tracing。Key Launch Arguments25 个参数语义与默认值robot.launch.py通过DeclareLaunchArgument声明 25 个 launch 参数见 generate_launch_descriptionArgumentPurposeDefaultrobot_config配置名不带 .yamlso101_single_armconfig_path完整路径覆盖use_sim仿真标志空则由 runtime target 推断sim_platform覆盖simulation.platformgazebo/mujoco/mockruntime_targethardware / simulation / benchmark 覆盖auto_start_controllers启动时 spawn 控制器truecontrol_modeteleop / model_inference / moveit_planning空 →default_control_modenav_stagemapping / navigation / grasp / hybridhand_profile手部 profile 选择with_inference强制启用/禁用推理空自动检测inference_pipeline被覆盖的命名 pipeline IDinference_execution_modemonolithic / distributedwith_moveit若 mode 名含 moveit 则自动检测with_navigation空 →robot.navigation.enablednavigation_modefull / odom_only / imu_onlymoveit_displayRViztruerecordRosbag 录制falserecord_modecontinuous / episodiccontinuousvoice_asr_auto_start强制 ASR 启用 continuousfalsevoice_asr_realtime_pre_roll_secondsASR pre-rollwith_embodied空 →robot.embodied.enabledwith_perception空 →robot.embodied.perception.enabledrecord_visualizernone / rerunnoneenable_tracingros2_tracing / LTTngfalsetrace_session_nameTrace session 名builder 默认几个关键语义需要结合源码理解use_sim与runtime_target的关系use_sim为空时由 runtime_target.py 中的resolve_runtime_target决定launch 覆盖 → YAMLruntime.target→ 历史use_sim回退 → 默认 hardware且与显式use_sim做一致性 fail-fast 校验benchmark use_sim:true仍是 benchmark并跳过 ros2_control、仿真后端与物理感知。inference_pipeline/inference_execution_mode必须成对使用_apply_inference_cli_overridesrobot.launch.py要求二者同时给定且 pipeline ID 必须存在于control_modes.mode.inference.pipelines中否则直接ValueError中止。record_visualizer:rerun会额外启动 Rerun sidecar用于实时查看相机、关节与动作曲线对应generate_rerun_viewer_node。常用启动模式从标准仿真到业务组合robot.launch.py的模块 docstring 给出了完整的启动示例以下为最常用的模式# 标准仿真启动 ros2 launch robot_config robot.launch.py robot_config:so101_single_arm use_sim:true # Mock 后端无硬件、无 Gazeboruntime target simulation mock platform ros2 launch robot_config robot.launch.py robot_config:so101_single_arm \ use_sim:true sim_platform:mock # 覆盖控制模式 ros2 launch robot_config robot.launch.py robot_config:so101_single_arm \ control_mode:moveit_planning # 移动底盘 导航阶段 ros2 launch robot_config robot.launch.py robot_config:lekiwi_nav_grasp \ nav_stage:grasp with_navigation:true # 分段episodic录制 ros2 launch robot_config robot.launch.py control_mode:teleop \ record:true record_mode:episodic # 分段录制 Rerun 实时可视化 ros2 launch robot_config robot.launch.py robot_config:so101_single_arm \ control_mode:teleop record:true record_mode:episodic record_visualizer:rerun # 真实硬件 ros2 launch robot_config robot.launch.py robot_config:so101_single_arm use_sim:false注意两点运行前提必须设置ROS_DOMAIN_ID。工作区为避免与其他 ROS 2 系统冲突使用ROS_DOMAIN_IDID启动前务必执行export ROS_DOMAIN_IDID清理残留。若遇到 Controller already loaded 错误可运行仓库内scripts/cleanup_ros.sh清理后再启动。so101_single_arm配置本身的runtime.provider: so101_robot走的是 SDK 模拟传输simulation.platform: sdk因此 Gazebo / MuJoCo / mock 均不支持于该 provider 路径——这是 so101_single_arm.yaml 中明确标注的约束。该配置同时是单臂应用的 SSOT 范本包含control_modesteleop / model_inference / moveit_planning 三种模式及其 inference 与 executor 配置、voice_asr、voice_tts、embodied、contract、teleoperation、recording等完整段落。添加新机器人YAML 即 SSOT新增一台机器人只需四个步骤无需修改任何 Python 编排代码创建 YAMLconfig/robots/my_robot.yaml单顶层键robot:需要变体时用 overlay 继承base_config: base-name必须同目录列表追加用__append__键定义name、joints、control_modes、peripherals、contract按需追加voice_*/embodied/navigation段落启动ros2 launch robot_config robot.launch.py robot_config:my_robotoverlay 合并与校验逻辑集中在 loader.py 的_deep_merge_config__append__只允许出现在仅含该键的 dict 中且值为 listbase 中对应键必须是 list跨目录、循环的 overlay 会被拒绝。路径解析优先级为config_path显式参数 →config_name→ROBOT_CONFIG环境变量 →ROBOT_NAME环境变量 → 默认so101_single_arm。仓库src/robot_config/config/robots/下已有 30 余个现成配置可供参考例如so101_dual_arm.yaml、lekiwi_nav_grasp.yaml、so101_pi05_ascend_310p_mock.yaml、franka_libero_evaluation.yaml等覆盖单臂、双臂、移动底盘、昇腾 310P mock、benchmark 评测等场景。调试契约内存合成与离线检查契约Contract在 launch 时内存合成RobotConfig.to_contract()/build_contract_from_robot_config_dict()不落盘、无磁盘缓存。前者是类型化路径见 config.py后者是 dict 路径由 loader.py 转发到generators/contract.py。可以离线检查合成结果# Offline inspection from robot_config.loader import load_robot_config rc load_robot_config(so101_single_arm) contract rc.to_contract() print(contract.rate_hz, [o.key for o in contract.observations])Launch 日志中配置校验失败会 fail-fast 并给出具体原因observation source 不在peripherals、inference 引用的模型 / pipeline 不存在、executor 类型非法等。validate_configloader.py会返回错误列表launch 内执行后在日志中逐条打印。loader.robot_config_digest()loader.py对合并后的配置做指纹计算可用于对比两份配置是否漂移——它刻意不是 YAML 文档的 digest而是封闭技能执行上下文的指纹因此 profile 选择等无关改动不会改变身份。Troubleshooting三类典型故障排查问题一launch 时配置校验失败原因SSOT YAML 违反校验规则loader.validate_config在 launch 内执行fail-fast。检查清单Observation 的source是否在peripherals中定义control_modes.mode.inference引用的模型 / pipeline 是否存在由 inference_config.py 的parse_inference_config在 launch 构建前解析并校验抛InferenceConfigErrorExecutor 类型是否为topic/benchmarkcontroller 名是否出现在ros2_control中Overlay 配置的base_config是否为同目录文件跨目录、循环会被拒绝。额外经验so101_single_arm.yaml中controller_startup_timeout支持按 profile 分别配置sim 默认 120.0s、hardware 默认 30.0s由_resolve_controller_startup_timeoutrobot.launch.py解析launch 还会执行validate_runtime_resources与confirm_interactive_startup_p_pose等前置校验模拟场景会起一个wait_for_controllers探针节点等待控制器就绪。问题二运行的控制器不对原因控制模式不匹配每个 mode 的控制器集合来自 YAMLcontrol_modes.mode.controllerslaunch 仅负责按control_mode选择对应集合。解决# For MoveIt / skills ros2 launch robot_config robot.launch.py control_mode:moveit_planning # For policy inference ros2 launch robot_config robot.launch.py control_mode:model_inference参考映射关系position controllerstopic executor用于 teleop / model_inferencetrajectory controllersaction executor经运行时motion_server/task_dispatch用于 moveit_planningbase_controller/base_velocity_controller用于 base_navigation。四种控制模式最终都汇聚到同一个ros2_control硬件接口上只是 per-mode 控制器集合不同。需要留意的是当前 generic launch 不再内置 planner——若请求 moveit 控制模式但robot.runtime.provider未设置robot.launch.py 会直接抛RuntimeError拒绝启动不完整的运动栈。问题三推理 pipeline 启动失败常见错误Manifest 加载失败——bundle 必须是 schema v3inference_manifest/loader.py 的load_inference_manifest严格校验含 artifact digest、语义绑定方向、action 输出绑定等旧版本 manifest 会被ManifestValidationError拒绝Backend conformance 失败——deployment 的 runtime profile 与后端能力不匹配。例如 ascend 要求target.runtimeacl、artifacts 格式为ombackends/registry.py 中_validate_ascend明确要求target.runtime必须恰为aclABI 版本放在target.runtime_abihisilicon 要求target.socsd3403且target.runtimehisilicon-workerScheduler 会话失败——session 化路径需先等待/inference/scheduler/ready就绪重复请求会被IdempotencyLedger拒绝Distributed 模式无视频——检查 RTP 通道协商VideoStreamNegotiator见 compute_video_streams.py负责 requirements 与VideoTransportCapabilities的匹配与 keyframe 等待状态WAITING_FOR_KEYFRAME。延伸阅读启动系统的编排细节与参数语义可对照 robot.launch.py 源码builder 模块位于 launch_builders 目录。SSOT 配置范本见 so101_single_arm.yaml其余机器人配置见src/robot_config/config/robots/。配置加载、overlay 合并、校验与 digest 的实现见 loader.py。推理相关故障的深层次排查可结合推理管线文档如docs/embodied_pipeline.md、docs/SD3403_SDK_ACL_NNIE_IB-Robot_deployment_zh.md与src/inference_service/、src/inference_manifest/源码交叉验证。赞分享具身智能机器人人工智能大模型模型推理服务本地部署计算机视觉ROS【免费下载链接】IB_RobotSave the code of IB-Robot, an AI robot execution framework developed by openEuler Embedded for embodied intelligence scenarios. It includes references to the forked version of tensormsg, references to lerobot fork, code references to the lerobot_ros2:ros2_ws branch, as well as some code related to development usability.项目地址https://gitcode.com/openeuler/IB_Robot点击查看免费下载相关推荐终极Atmosphere-NX启动故障深度排查与系统修复指南从崩溃到恢复的完整解决方案终极Atmosphere NX启动故障深度排查与系统修复指南从崩溃到恢复的完整解决方案 Atmosphere是一款针对Nintendo Switch的定制固件固件操作系统嵌入式系统编程SparkyFitness 故障排查与调试实战手册容器化开发环境的系统化排障指南SparkyFitness 故障排查与调试实战手册容器化开发环境的系统化排障指南 本指南面向 SparkyFitness 的开发者与自部署者系统梳理从端口冲后端前端移动开发Kanidm 故障排查完全指南从启动日志到 OpenTelemetry 的实战排障手册Kanidm 故障排查完全指南从启动日志到 OpenTelemetry 的实战排障手册 本文是 Kanidm 身份管理平台一个以 Rust 实现的安全、快速后端认证鉴权安全上一篇GetQzonehistory 说说导出指南下一篇完整开源电商dts-shop 让微信小程序商城三步跑起来创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考