各位做机器人操作、机械臂控制或者具身智能方向的朋友大家好。近两年机器人操作领域有一个很明显的趋势纯强化学习RL方法虽然上限高但训练成本大、成功率不稳定纯模仿学习IL方法上手快但泛化能力弱面对新场景容易崩。很多团队都在尝试把两者结合起来但真正能在上千次真实实验中保持稳定成功的方案并不多。最近我梳理了一个名为RL-100的框架思路它在融合模仿学习与强化学习之后达到了“千次实验无一失败”的亮眼表现。这篇文章我就围绕这个框架系统拆解它背后的技术逻辑、关键模块、训练流程以及我们在实际搭建类似系统时要注意的坑。不管你之前是做机械臂运动规划还是刚接触强化学习的算法工程师这篇文章都能帮你建立一套“模仿学习 强化学习”混合架构的完整认知并且我会给出可参考的 PyTorch 风格代码骨架和训练流程方便你迁移到自己的项目中。1. 背景与核心概念为什么单一方法不够用1.1 模仿学习与强化学习各自的边界在进入 RL-100 之前先把两个基础概念理清楚。模仿学习Imitation LearningIL的核心思路是“向专家学”。我们采集人类专家或者已有规划器产生的示教数据比如机械臂末端位姿序列、关节力矩指令然后用这些数据训练一个策略网络让网络学会“看到什么状态输出什么动作”。常见的实现包括行为克隆Behavior CloningBC和逆强化学习Inverse RLIRL。模仿学习的优点是训练过程相对稳定。因为监督信号来自示教数据不需要在环境中反复试错所以前期策略收敛很快。但它的缺点也很明显一是数据质量决定上限示教数据覆盖不到的状态网络很容易给出错误动作二是“复合误差”问题训练时网络看到的是专家状态分布部署时一旦出现偏差后续状态就会越跑越偏。强化学习Reinforcement LearningRL的核心思路是“在交互中试错”。智能体与仿真环境或真实环境不断交互通过奖励信号学习最优策略。常见的算法有 PPO、SAC、TD3 等。强化学习的好处在于它能主动探索发现专家示教中没有出现过的高效动作泛化能力更强。但坏处也明显样本效率低真实机器人上动辄几十万次交互时间成本和硬件磨损都扛不住奖励函数设计困难稀疏奖励环境下学习几乎无法收敛。1.2 为什么机器人操作场景更难机器人操作任务比如抓取、插拔、装配、倒水和棋类、游戏类 RL 任务有很大不同状态空间是高维的包含关节角度、末端位姿、力觉信息有时还有视觉输入动作空间往往是连续的对精度要求极高差几毫米就可能任务失败真实环境不允许无限试错碰撞、掉落、磨损都会带来成本任务的奖励信号经常是稀疏的比如“插销插入卡槽”这个动作中间过程没有明确的奖励指引。这些特点决定了单纯使用模仿学习或强化学习都很难达到“千次实验无一失败”的稳定性。所以像 RL-100 这样的混合框架才会出现它的思路不是“二选一”而是“先用模仿学习建立基础能力再用强化学习在仿真中持续优化最后通过安全机制保障真实部署的可靠性”。1.3 RL-100 解决的核心问题从技术定位上看RL-100 是一个面向机器人操作的高性能策略学习框架它的核心目标有三个第一提升学习的稳定性。通过模仿学习提供的初始策略避免强化学习从零开始探索显著降低训练初期的不确定性。第二提升部署的可靠性。引入多重校验机制包括动作安全过滤、成功率自检、异常回退等确保真实环境中策略不会因为个别异常状态而彻底失败。第三缩短训练周期。在仿真环境中利用强化学习做策略优化再把成熟策略迁移到真实机器人上减少真机交互次数。换句话说RL-100 不是某个单一算法的名字而是一种“先模仿、再强化、最后加固”的技术组合思想。理解了这一点后面看它的框架设计就会很轻松。2. 环境准备与版本说明无论你是想复现 RL-100 的思想还是想在自己项目中搭建类似的混合学习系统环境准备都是第一步。需要说明的是RL-100 目前更多是研究论文和开源社区讨论中的框架思路不同团队实现时使用的依赖版本可能有差异。因此下面的版本和环境配置以通用实践为例重点演示配置思路具体版本请根据你的项目实际情况调整。2.1 推荐环境组成一个完整的 RL-100 类项目通常包含以下组件组件推荐选型作用操作系统Ubuntu 20.04 / 22.04机器人开发的主流环境编程语言Python 3.8 - 3.10算法实现与训练脚本深度学习框架PyTorch 1.13 或 2.x策略网络训练仿真环境MuJoCo / Isaac Gym / PyBullet提供强化学习交互环境机械臂控制库robosuite / gymnasium-robotics封装常见的机器人操作任务示教数据采集动觉示教 / 遥操作 / 规划器生成生成模仿学习数据集日志与可视化TensorBoard / wandb训练监控版本管理Git DVC数据与模型版本管理2.2 安装示例以 Ubuntu PyTorch robosuite 的常见组合为例安装命令如下# 1. 创建虚拟环境 conda create -n rl100 python3.9 conda activate rl100 # 2. 安装 PyTorch以 CUDA 11.8 为例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 # 3. 安装 robosuite 仿真环境 pip install robosuite # 4. 安装 MuJoCo 相关依赖 pip install mujoco # 5. 安装常用工具库 pip install gymnasium numpy matplotlib tensorboard这里要特别提醒一下robosuite 和 MuJoCo 的版本兼容性经常变化如果在安装过程中遇到依赖冲突建议先查看官方文档确认版本匹配不要盲目升级到最新版。2.3 项目目录结构建议一个规范的 RL-100 混合学习项目建议按下面的目录组织rl100_project/ ├── configs/ # 训练与模型配置文件 │ ├── il_config.yaml │ └── rl_config.yaml ├── data/ # 示教数据与训练数据 │ └── demonstrations/ ├── envs/ # 自定义仿真环境 │ └── robot_env.py ├── models/ # 策略网络定义 │ ├── policy_net.py │ └── value_net.py ├── algorithms/ # 模仿学习与强化学习算法 │ ├── bc.py │ └── ppo_agent.py ├── scripts/ # 训练与评估脚本 │ ├── collect_demo.py │ ├── train_bc.py │ ├── train_rl.py │ └── evaluate.py └── utils/ # 通用工具函数 ├── logger.py └── safety_filter.py结构清晰的工程目录不仅方便调试也为后续多人协作和模型版本管理打下基础。3. RL-100 框架的核心原理拆解3.1 模块化训练管线RL-100 的整体思路可以用“三段式”训练管线来概括第一阶段示教数据采集与模仿学习预训练。首先通过遥操作、动觉示教或者运动规划器采集一批高质量的任务示教数据。这些数据包含状态序列和对应的动作序列。然后使用行为克隆算法训练一个初始策略 π_IL。这个阶段的训练目标很简单就是最小化网络输出动作与示教动作之间的误差通常使用 MSE Loss 或负对数似然 Loss。第二阶段仿真强化学习优化。把第一阶段训练好的 π_IL 作为强化学习的初始策略在仿真环境中继续使用 PPO 或 SAC 等算法优化。这里的关键是利用 RL 的探索能力让策略学会处理示教数据中没有覆盖的边界状态。奖励函数可以结合任务稀疏奖励和辅助密集奖励来设计。第三阶段安全过滤与真机部署。强化学习优化完成后策略进入部署阶段。此时并不会直接让策略输出驱动真实机器人而是加一个“安全过滤层”对策略输出的动作进行合法性校验比如关节速度限制、碰撞检测、力/力矩阈值检测超出安全范围的输出会被拦截或修正。这一步是 RL-100 实现“千次实验无一失败”的工程保障。3.2 模仿学习如何“喂”给强化学习在 RL-100 中模仿学习和强化学习的衔接方式非常关键常见的技术手段有三种方式一作为初始化权重。直接把 BC 训练得到的策略网络参数作为 RL 训练时 Actor 网络的初始参数。这样 RL 在早期就能输出相对合理的动作避免随机探索带来的大量无效交互。方式二作为动作先验。在 RL 的策略损失函数中加入一个正则项惩罚策略输出与 BC 策略输出的偏离程度。公式可以表达为L_total L_RL - λ · E[log π_RL(a|s) / π_IL(a|s)]其中 λ 是正则系数。这种做法的好处是让 RL 不要离示教策略太远保证学习过程稳定。方式三混合采样。在 RL 训练的每一轮以一定概率选择执行 BC 策略的动作而不是完全依赖当前 RL 策略。这相当于一种“课程学习”策略前期多听“老师”的后期逐步放权给 RL 策略。从实际效果看方式一最常用方式二最稳定方式三适合探索能力较弱的任务。RL-100 类框架通常会组合使用这三种方式。3.3 奖励函数设计实践强化学习部分的效果好坏很大程度上取决于奖励函数。不同的机器人操作任务需要不同的设计思路抓取任务可以设置“接近奖励 接触奖励 抓取成功奖励”其中接近奖励用末端与目标距离的负值表示接触奖励用夹爪是否触碰到物体表示成功奖励用物体是否被抬起表示。插拔任务这属于高精度对齐任务稀疏奖励很容易让学习失败建议在奖励中增加“轴向对齐误差”和“插入深度”两个连续变量做成基于距离的密集奖励。装配任务建议使用“阶段性奖励”把任务拆成接近、对准、插入、锁紧四个子阶段每个阶段完成时给予额外奖励。RL-100 的奖励设计还有一个常用技巧叫作reward shaping with demonstration prior。具体做法是在计算强化学习奖励时叠加一个基于示教轨迹相似度的奖励项。如果当前状态与某个示教轨迹的对应状态接近就给予额外的正奖励。这个技巧能有效引导策略朝着示教路径走同时保留 RL 的探索空间。3.4 核心代码骨架下面给出一个简化版的 RL-100 训练流程代码骨架帮助大家理解模块之间的衔接。这段代码不依赖特定机器人环境重点展示思路。# 文件路径rl100_project/algorithms/rl100_trainer.py import torch import torch.nn as nn import torch.optim as optim import numpy as np class BCNetwork(nn.Module): 模仿学习策略网络输入状态输出连续动作 def __init__(self, state_dim, action_dim, hidden_dim256): super().__init__() self.net nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, action_dim), nn.Tanh() ) def forward(self, state): return self.net(state) class RL100Trainer: RL-100 混合训练器 第一阶段做行为克隆第二阶段加载策略做强化学习 def __init__(self, state_dim, action_dim, lr3e-4): self.policy BCNetwork(state_dim, action_dim) self.optimizer optim.Adam(self.policy.parameters(), lrlr) self.loss_fn nn.MSELoss() def train_bc(self, states, actions, epochs50): 第一阶段模仿学习预训练 states: [N, state_dim] 的示教状态 actions: [N, action_dim] 的示教动作 dataset_size states.shape[0] for epoch in range(epochs): # 简单随机打乱 indices np.random.permutation(dataset_size) total_loss 0.0 for i in indices: state torch.FloatTensor(states[i]).unsqueeze(0) action torch.FloatTensor(actions[i]).unsqueeze(0) pred self.policy(state) loss self.loss_fn(pred, action) self.optimizer.zero_grad() loss.backward() self.optimizer.step() total_loss loss.item() if (epoch 1) % 10 0: avg_loss total_loss / dataset_size print(f[BC] Epoch {epoch 1}/{epochs}, Loss: {avg_loss:.6f}) return self.policy def train_rl(self, env, total_timesteps1000000, init_steps10000): 第二阶段强化学习微调简化版 PPO 骨架 env 是 gymnasium 风格环境需要实现 reset 和 step # 将 BC 预训练的参数作为 Actor 初始参数 actor self.policy # 此处省略完整 PPO 实现实际项目可替换为 stable-baselines3 # 关键点在强化学习损失中加入 BC 正则 print(f[RL] 开始强化学习微调初始 BC 策略已加载) print(f[RL] 共 {total_timesteps} 步预热 {init_steps} 步) # 伪代码逻辑示意参数继承关系 # for step in range(total_timesteps): # state env.reset() # done False # while not done: # action actor(torch.FloatTensor(state)).detach().numpy() # next_state, reward, done, info env.step(action) # # 计算 PPO loss加入 BC 正则项 # # rl_loss ppo_loss lambda * bc_regularization # state next_state return actor def evaluate(self, env, episodes1000): 第三阶段批量评估 统计成功率、平均步数、失败原因分布 success_count 0 failure_reasons {} for episode in range(episodes): state env.reset() done False step_count 0 while not done: action self.policy(torch.FloatTensor(state)).detach().numpy() # 经过安全过滤层 action self.safety_filter(action, env) state, reward, done, info env.step(action) step_count 1 if info.get(success, False): success_count 1 else: reason info.get(failure_reason, unknown) failure_reasons[reason] failure_reasons.get(reason, 0) 1 success_rate success_count / episodes print(f[Eval] 成功率: {success_rate:.2%} ({success_count}/{episodes})) print(f[Eval] 失败原因分布: {failure_reasons}) return success_rate, failure_reasons def safety_filter(self, action, env): 安全过滤层限制动作范围防止危险输出 实际项目中还应包含碰撞检测和力/力矩阈值 action np.clip(action, -1.0, 1.0) return action这段代码虽然简化了 PPO 的完整实现但已经体现了 RL-100 的核心衔接逻辑BC 训练得到策略RL 阶段继承并微调策略评估阶段加入安全过滤。实际项目中强化学习部分建议直接使用 stable-baselines3 或自己实现完整的 PPO重点是不要丢掉 BC 正则项。4. 完整实战案例搭建一个插拔任务的混合学习系统为了让大家更直观地理解 RL-100 的落地流程这里以“机械臂插拔任务”为例走一遍从数据采集到最终评估的完整流程。插拔任务对精度要求非常高是检验混合学习框架的典型场景。4.1 创建项目结构按照第 2 节的目录规范创建项目结构mkdir -p rl100_plug_task/{configs,data/demonstrations,envs,models,algorithms,scripts,utils}4.2 添加依赖配置在configs/rl_config.yaml中编写训练配置# 文件路径rl100_plug_task/configs/rl_config.yaml project_name: rl100_plug_task seed: 42 bc_training: epochs: 100 batch_size: 64 learning_rate: 3e-4 hidden_dim: 256 rl_training: total_timesteps: 2000000 algo: ppo learning_rate: 3e-4 gamma: 0.99 gae_lambda: 0.95 clip_range: 0.2 bc_regularization_coef: 0.1 init_steps: 20000 evaluation: episodes: 1000 save_video: true这里的bc_regularization_coef就是上一节提到的 BC 正则系数 λ需要根据任务复杂度调整。经验上任务精度要求越高λ 可以适当调大一些防止 RL 探索破坏已有的对齐能力。4.3 编写自定义仿真环境以 robosuite 自带的插拔任务为基础封装一个 gymnasium 风格的接口# 文件路径rl100_plug_task/envs/plug_env.py import numpy as np import robosuite as suite from robosuite.controllers import load_controller_config class PlugEnv: 机械臂插拔任务环境 使用 robosuite 的 PegInHole 任务作为基础 def __init__(self, has_rendererFalse, has_offscreen_rendererFalse): controller_config load_controller_config(default_controllerOSC_POSE) self.env suite.make( env_namePegInHole, robotsPanda, controller_configscontroller_config, has_rendererhas_renderer, has_offscreen_rendererhas_offscreen_renderer, use_camera_obsFalse, reward_shapingTrue, ) def reset(self): obs self.env.reset() return self._flatten_obs(obs) def step(self, action): # action 是 6 维的末端位姿增量 obs, reward, done, info self.env.step(action) info[success] bool(info.get(success, False)) info[failure_reason] timeout if not info[success] else none return self._flatten_obs(obs), reward, done, info def _flatten_obs(self, obs): # 将 robosuite 的字典观测转为一维向量 robot_obs obs[robot0_proprio-state] if ee_pos in obs: ee_pos obs[ee_pos] flat np.concatenate([robot_obs, ee_pos]) else: flat robot_obs return flat.astype(np.float32)写环境时需要注意一点robosuite 的PegInHole本身就带了奖励塑形选项reward_shapingTrue这对 RL 训练很关键它能在插拔过程中提供连续的奖励信号而不是只有最终成功/失败两个结果。4.4 采集示教数据示教数据的采集可以有两种途径一是人工通过遥操作设备操作机械臂完成任务并记录轨迹二是在仿真中使用运动规划器自动生成轨迹。下面给出一个简化版的自动示教数据生成脚本展示数据格式# 文件路径rl100_plug_task/scripts/collect_demo.py import numpy as np import h5py from envs.plug_env import PlugEnv env PlugEnv() demo_count 50 all_states [] all_actions [] for episode in range(demo_count): state env.reset() states [] actions [] # 简化使用内置的运动规划器执行插拔动作 # 实际项目中这里应接入 RRT、CHOMP 等规划器或人工遥操作 for step in range(200): # 这里用随机动作代替规划器输出实际使用请替换 action np.random.uniform(-0.05, 0.05, size6) next_state, reward, done, info env.step(action) states.append(state) actions.append(action) state next_state if done: break if info.get(success, False): all_states.extend(states) all_actions.extend(actions) print(f[Demo] Episode {episode 1} 成功轨迹长度 {len(states)}) # 保存为 HDF5 格式 with h5py.File(data/demonstrations/plug_demo.h5, w) as f: f.create_dataset(states, datanp.array(all_states)) f.create_dataset(actions, datanp.array(all_actions)) print(f[Demo] 共采集 {len(all_states)} 条有效样本)真实项目中不建议用随机动作采集示教数据这里只是为了演示数据格式。建议优先使用运动规划器或者人工遥操作因为示教数据质量直接决定 BC 阶段策略的上限。4.5 训练与评估数据采集完成后依次执行三个阶段# 第一阶段模仿学习预训练 python scripts/train_bc.py --config configs/rl_config.yaml # 第二阶段强化学习微调 python scripts/train_rl.py --config configs/rl_config.yaml # 第三阶段批量评估 python scripts/evaluate.py --config configs/rl_config.yaml --episodes 1000以 RoboSuite 的 PegInHole 任务为参照一个训练充分且加装了安全过滤的策略在固定初始条件下可以做到接近 100% 的成功率。这也是 RL-100 类框架“千次实验无一失败”说法的来源——它不是一个偶然结果而是算法预热、正则约束、安全过滤三层机制叠加后的必然产物。4.6 结果说明评估脚本会输出三类关键指标成功率1000 次实验中成功完成插拔的比例。平均步数完成任务需要的平均决策步数反映策略效率。失败原因分布如果出现失败是超时、碰撞、还是夹爪松脱便于后续针对性优化。推荐把失败原因分布作为最重要的分析维度。一个只统计成功率的实验报告价值有限只有当你清楚失败发生在哪个环节才能知道下一步应该补充示教数据还是调整奖励函数还是修改安全过滤阈值。5. 常见问题与排查思路在实现 RL-100 类混合框架时最容易遇到的几个问题如下问题现象常见原因解决思路BC 训练 Loss 下降缓慢示教数据质量差或状态动作未归一化清洗示教数据对状态与动作做归一化处理RL 阶段策略崩溃性能反而不如 BCRL 学习率过大或 BC 正则系数太小降低 RL 学习率调大bc_regularization_coef仿真表现好但真机失败仿真与真实环境存在 Sim-to-Real 差距加入随机化domain randomization增加力觉观测训练过程频繁出现 NaN Loss网络参数爆炸或奖励值过大检查梯度裁剪对奖励做归一化或裁剪真实部署偶尔出现危险动作安全过滤层覆盖不全面增加关节限位、速度限位、碰撞检测和力/力矩阈值1000 次实验偶发失败集中在同一场景该场景状态分布未被示教数据覆盖针对失败场景补充专项示教数据或设计辅助奖励下面展开说明两个最典型的坑。坑点一BC 阶段过拟合。示教数据如果来自同一条固定轨迹的多次重复BC 策略很容易出现过拟合只在示教轨迹附近的状态分布上表现良好。一旦 RL 阶段探索到略微偏离的状态策略输出就可能失效。解决方案有两个一是采集示教数据时尽量覆盖多起始位置和多轨迹二是在 BC 训练中加入早停机制用验证集 Loss 判断何时停止训练。坑点二RL 阶段“忘掉”了 BC 学到的能力。强化学习在探索过程中会不断尝试新动作有些动作在训练初期会有低奖励导致策略剧烈震荡甚至把 BC 阶段学到的稳定行为也破坏掉。这时候需要检查是否正确加载了 BC 权重BC 正则系数 λ 是否过小RL 探索噪声是否过大。我见过不少项目的失败原因是直接把bc_regularization_coef设为 0等于完全丢弃了模仿学习的约束混合学习退化成纯强化学习稳定性自然大打折扣。排查清单检查示教数据中状态和动作维度是否匹配检查状态与动作是否在 [-1, 1] 区间内做了归一化检查 RL 阶段 Actor 是否确实加载了 BC 权重画出 BC 阶段 Loss 和 RL 阶段 Reward 曲线观察是否存在异常跳变单独评估纯 BC 策略的成功率作为 RL 微调效果的对照基准在仿真中加入随机扰动检验策略的鲁棒性。6. 最佳实践与工程建议6.1 数据管理示教数据是“资产”不是“缓存”机器人操作的示教数据采集成本非常高尤其是真实机器人上的遥操作数据一小时可能只能采集几十条有效轨迹。所以一定要用数据版本管理工具如 DVC管理数据按任务、日期、采集方式、操作人员等维度打标签。方便后续定位问题时按条件筛选数据子集重新训练。6.2 奖励函数先复现成功再追求高效奖励函数设计有一个原则先保证任务能成功完成再考虑动作是否高效。很多团队一开始就把“时间惩罚”和“能量惩罚”加得很重结果任务根本学不会。建议先用稀疏的成功奖励加少量密集辅助奖励跑通流程确认策略能完成任务后再加入效率项优化。6.3 安全边界真实部署必须双保险真实机器人上策略网络输出只是决策信号真正驱动电机之前必须经过安全过滤层。至少要包含四道检查关节角度是否在机械限位内关节速度和末端速度是否超过阈值末端力和力矩是否超过安全范围是否检测到碰撞或奇异位形。如果安全检查不通过正确的做法不是直接执行修正后的动作而是保持当前状态并触发安全回退程序。这一点在“千次实验无一失败”的框架中尤其重要。6.4 仿真到真机的迁移策略RL-100 类框架通常先在仿真中做强化学习优化再迁移到真实机器人。迁移过程建议采用渐进式的做法先在仿真中加入随机扰动包括目标位置随机化、物体质量随机化、摩擦系数随机化在仿真中验证不同扰动下的成功率找到策略的鲁棒性边界真机测试从低速低力矩模式开始逐步提升到正常工作参数记录真实机器人上成功的轨迹把它们补充进模仿学习数据集形成“真实数据回流”。这个闭环让每一次真实实验都变成下一次训练的数据源系统会越用越稳。6.5 日志与可视化的规范训练过程中需要记录的数据不止是 Loss 和 Reward还应该包括每个 episode 的任务完成状态失败原因动作幅度分布奖励项分解值。建议为每个训练任务分配一个唯一的实验编号日志统一输出到目录中方便日后回溯。7. 总结与学习路线这篇文章围绕 RL-100 框架拆解了它如何把模仿学习和强化学习结合起来实现高性能机器人操作。核心要点可以归结为三条第一模仿学习提供起点。通过示教数据训练一个可靠的初始策略避免强化学习从零开始盲目探索这是 RL-100 稳定性的基础。第二强化学习负责优化与泛化。通过奖励函数设计和 BC 正则约束强化学习在保持基础能力的同时学会处理示教数据覆盖不到的边界状态。第三安全过滤保障部署。“千次实验无一失败”的成绩不完全是算法本身的功劳安全过滤层和异常回退机制功不可没。这提醒我们算法只是一部分工程防护同样重要。如果你刚接触这个方向我建议的下一步学习路径是强化学习基础先掌握 PPO 和 SAC 两种主流算法的原理与实现理解策略梯度、价值函数、经验回放等核心概念模仿学习实践用 PyTorch 自己实现一个简单的行为克隆模型在公开数据集上跑通训练流程仿真环境入门熟悉 robosuite 或 gymnasium-robotics选择一个简单的抓取任务完成“数据采集 → BC 训练 → RL 微调 → 评估”的完整闭环进阶方向探索离线强化学习offline RL、基于模型的强化学习model-based RL、contextual bandit 等话题这些方向都在尝试进一步提升样本效率和稳定性工程化落地学习 domain randomization、奖励塑形、安全过滤等工程手段理解算法如何在实际硬件上安全运行。最后也想说一句不要被“千次实验无一失败”这样的结果吓住认为是算法复杂到难以企及。它的背后其实是清晰的设计逻辑和扎实的工程细节。从你自己的一个小任务开始把模仿学习和强化学习接起来哪怕只是仿真中的一次抓取这一步走通了后面的路就会顺畅很多。如果这篇文章对你有帮助可以收藏备用。后续我还会继续拆解强化学习在机器人操作中的更多实战细节欢迎在评论区留言交流你的踩坑经历。