概念ACTAction Chunking with Transformers是一种结合了Transformer架构与动作分块思想的模仿学习算法。它不再预测当前瞬间的一个动作而是让模型一次性预测未来一段时间内的一串连续动作并通过时间集成平滑执行解决传统行为克隆的误差累积与单步预测不稳定问题。网络结构工作流程1. 数据收集阶段人类遥控机器人完成任务比如插线、抓取系统记录每一刻的相机图像多视角每一刻的机器人状态关节角度每一刻对应的未来 K 步动作动作块最终数据集格式(图像, 状态) → 未来 K 步连续动作2. 模型训练阶段训练目标让模型学会看到当前画面 → 输出未来一整段流畅动作训练步骤输入当前观测图像 机器人状态 → 提取特征CVAE 学习动作 “风格”输入未来 K 步专家动作 → 输出一个隐变量 zz 代表这段动作的意图 / 风格Transformer 预测动作块观测特征 z → 直接输出未来 K 步动作计算损失预测动作 vs 专家动作MSE 损失隐变量 z 正则KL 散度损失总损失 重构损失 KL 损失反向传播更新模型3. 推理阶段推理时不需要专家动作全自动预测相机拍图 读机器人状态从正态分布随机采样 z代表动作意图Transformer 直接输出未来 K 步动作序列只取最新一段动作执行4. 机器人闭环执行时间集成每一步都会新生成一段 K 步动作不同预测块之间重叠、加权、融合让动作变得超级平滑、不抖动、误差不累积数据收集 人遥控 → 存(图像,状态 → 未来K步动作) 训练 图像状态 → 特征 → CVAE → z → Transformer → 预测K步动作 优化MSE KL 推理 图像状态 → 特征 → 随机z → Transformer → K步动作 时间集成 → 平滑动作 执行一步 → 循环官方代码仓库https://github.com/Interbotix/act.gitact仓库主要包含以下核心文件 imitate_episodes.py主训练和评估脚本负责加载数据、配置参数和启动训练policy.py定义了ACT的策略类即算法的核心逻辑detr存放模型定义基于DETR架构修改而来的目录constants.py和utils.py定义超参数和辅助函数sim_env.py用于训练和评估的仿真环境采用关节空间控制的Mujoco DM_Control环境代码实现安装ACT#克隆仓库 git clone https://github.com/tonyzhaozh/act.git cd act #创建并激活 Conda 环境 conda create -n act_env python3.8.10 -y conda activate act_env #安装核心依赖 pip install torch torchvision pip install pyquaternion pyyaml rospkg pexpect pip install mujoco2.3.7 dm_control1.0.14 pip install opencv-python matplotlib einops packaging h5py ipython #安装 ACT 组件 cd act/detr pip install -e . #验证安装 cd .. # 回到act根目录 python3 record_sim_episodes.py \ --task_name sim_transfer_cube_scripted \ --dataset_dir ./data/sim_transfer_cube_scripted \ --num_episodes 50开始训练模型打开constants.py将第四行put your data dir here要改为./datapython imitate_episodes.py \ --task_name sim_transfer_cube_scripted \ --ckpt_dir ./checkpoints \ --policy_class ACT \ --kl_weight 10 \ --chunk_size 100 \ --hidden_dim 512 \ --dim_feedforward 3200 \ --batch_size 8 \ --seed 42 \ --num_epochs 2000 \ --lr 1e-5 \ --temporal_agg评估训练成果python imitate_episodes.py \ --task_name sim_transfer_cube_scripted \ --ckpt_dir ./checkpoints \ --policy_class ACT \ --kl_weight 10 \ --chunk_size 100 \ --hidden_dim 512 \ --dim_feedforward 3200 \ --batch_size 8 \ --seed 42 \ --num_epochs 1 \ --lr 1e-5 \ --temporal_agg \ --eval \ --onscreen_render可视化分析结果