1. AssistMimic 在做什么从标题里读出关键信息1.1 三个关键词决定了这项工作的边界CVPR 2026 刚放榜CMU 和庆应大学合作的 AssistMimic 在社区的讨论度很高。这个工作的标题信息量很足拆开看就是三个核心关键词多智能体强化学习、物理接地、双人协助人形控制。说实话现在机器人领域每年有大量论文但能同时把这三件事揉在一起的工作并不多。先说“双人协助人形控制”。这里不是指一个机器人自己走路而是指两个机器人协作完成一个需要物理接触的任务比如一起搬一块大板子、扶着对方平衡、或者配合完成某个维修动作。人形机器人的本体结构本身就很难控制关节自由度多、重心高、脚掌接触面小单机保持稳定已经不容易再加一个同伴意味着两个动态系统要实时耦合并互相补偿。你推我一下我要通过身体姿态吸收掉这股力同时还要继续保持自己的重心轨迹这种协调性非常考验算法。再说“多智能体强化学习”。为什么不能用传统的单一强化学习因为两个机器人共享同一个任务目标但各自有不同的动作空间和观察空间它们需要学会在协调中让步、互补而不是各自为战。多智能体这里有个典型难点每个智能体都在变环境对你来说不再是稳定的学起来很容易发散。AssistMimic 能把这个框架跑通背后的约束设计和网络结构一定下了功夫。最后是“物理接地”。这个词读起来有点奇怪我第一次看到也愣了一下。严格来说它强调的是控制器输出必须和真实物理世界的接触约束一致也就是说机器人的动作必须落在“脚底有摩擦力、身体有重量、接触会产生反作用力”的物理现实里。很多仿真里能跑得飞起的策略一上真机就倒就是因为动作不符合物理接地条件。1.2 物理接地不是玄学而是“有物理依据”的动作约束物理接地可以理解成“让机器人记住自己是有重量、有摩擦、有接触刚度限制的实体”。举个生活化的例子人扶着重物上楼梯时你不会把重心完全交给同伴也不会突然做出一个肩关节的快速外展动作因为脚底摩擦力不够你会本能地让动作保持在地面反作用力的锥形范围里。在仿真环境中物理接地通常是通过接触动力学模型来体现的。常见做法是给脚底加入接触力模型用摩擦锥约束切向力大小用正压力约束法向力方向。AssistMimic 的做法我从论文细节看是把这些物理约束直接嵌入了状态和奖励的计算过程而不只是交给物理引擎去碰撞检测。这样做的好处是策略在训练早期就能学会“哪些动作是违反摩擦极限的”而不是等到碰了很多次壁之后才从稀疏奖励里慢慢猜。这里有一个容易被忽略的设计双人协助时接触会发生在两个机器人之间而不仅仅是机器人和地面之间。所以“接地”其实有两层含义。一层是每个机器人自身的脚底接触另一层是两个机器人互相施加的接触力。如果一个策略只优化自身重心而不考虑同伴传来的推力很快就会出现“两个人互相较劲”的局面。AssistMimic 把这两个层面的接触约束同时纳入了奖励和动力学预测这让学出来的动作更接近人类互助的真实行为。1.3 双人协助为什么比单人控制难一个量级单机器人走路你只需要控制自己的重心、摆动腿、保持稳定干扰来自外部环境是独立噪声。双机器人协作时干扰源多了同伴的动作而且同伴的动作又反过来受你影响形成闭环。这就好比两个人抬钢琴走楼梯如果一个人突然换步另一个人必须立刻做出补偿否则钢琴脱手更重要的是两个人的步态会被迫进入一种动态同步状态。在控制层面这种协作要求策略具备“任务级协调”而不是“动作级镜像”。动作级镜像很容易理解就是两个机器人做对称动作看起来整齐但不够聪明。任务级协调则要求一个智能体主动承担补偿角色另一个智能体保持主导任务节奏而且这种角色分配是可以动态互换的。AssistMimic 的多智能体框架里两个策略共享一个全局任务奖励但各自有独立的动作生成头所以能涌现出这样的角色分工。从实验数据看这类任务如果只用单智能体策略去控制两个机器人也就是用一套网络同时输出两份动作训练很容易卡在局部最优。因为网络要同时兼顾两个动态体的稳定性可学习的表征会被互相拉扯。多智能体让每个策略只专注自己的身体动力学再通过共享信息通道交互参数效率反而更高。这是我觉得最值得读的一点。2. 为什么选多智能体强化学习技术选型背后的逻辑2.1 多智能体与分层控制器的本质区别很多做机器人控制的工程师第一反应是双人协作拿现成的集中式控制器不就好了把两个人的动力学拉格朗日方程合起来再设计一个中央优化器。这在模型完全已知、环境确定的情况下确实可行但现实是人形机器人的模型参数误差大地面摩擦不确定同伴的负载变化也没法精确预测集中式控制器在这些扰动下会非常脆。多智能体强化学习的思路恰恰是放弃了“全局精确建模”的幻想改而让每个机器人策略在交互中学习一种鲁棒的协调策略。你不需要告诉策略同伴的精确质量它通过观测到的接触力变化就能推测当前状态就像一个老搭档不用说话也知道你下一步要往左。这种隐式建模在仿真里往往比显式参数估计更高效也更抗干扰。典型的做法是每个智能体用自己的观测器编码状态然后通过一个共享的注意力机制交换关键信息。AssistMimic 在这块给我的印象是他们没有用非常重的通信网络而是让两个策略各自维护一个“交互特征”在动作输出前做一次轻量级融合。这种设计既保持了多智能体的独立性又避免了通信带宽和计算开销的浪费。2.2 模仿学习先导、强化学习精修的混合框架纯强化学习从头学双人协作探索空间太大。两个机器人一开始互相乱撞几乎不可能稳定地碰倒目标位置。AssistMimic 比较务实的方法是先引入模仿学习。你可以先录一段真人协助动作的动捕数据或者用独立的单机器人策略生成一组参考轨迹然后用行为克隆或者逆强化学习让两个智能体先学一个大概的动作轮廓。这个“大概的轮廓”解决了强化学习冷启动的稀疏奖励问题。两个机器人知道大致怎么站位、怎么发力、怎么迈步剩下的就是通过强化学习来精修那些微妙平衡和力控细节。比如初始站位差一厘米仿真的策略根本不会体现出来但真机上可能就导致失衡强化学习阶段会在这一厘米的偏差周围反复试错最后学出一个更稳健的修正策略。混合框架最大的工程收益是训练时间大幅缩短。我见过不少纯端到端强化学习的人形协作项目训练到百万步还在原地打转模仿学习初始化之后通常能在二三十万步内看到明确的行为变化。AssistMimic 应该是把模仿学习作为预热然后在奖励函数中逐步注入“物理接地”相关的正则项这样策略既能快速提升任务完成率又不会偏离真实物理约束。2.3 奖励函数设计合作而不是竞争奖励函数是多智能体任务里最考验手艺的部分。协作任务里有两个陷阱一是奖励太稀疏智能体不知道什么行为是对的二是奖励设置成个体独立奖励导致两个智能体都只顾自己反而破坏协作。AssistMimic 的做法是全局奖励主导但拆解成几个软性约束项。我从论文里读到的奖励结构大致有几个分量末端任务距离误差、双人重心包的稳定性、关节力矩的平滑性、接触力是否落在摩擦锥内。这些分量不是简单加权和完事而是根据训练阶段做动态调整。前期重点优化末端任务距离让两个机器人尽快学会把物体搬到目标中后期重点提高重心稳定和接触力约束的权重让动作“更像一个物理实体”。这里有个很实用的技巧奖励函数里尽量别添加“惩罚过快”的项。一旦加了速度惩罚两个机器人会为了减小速度而僵在原地协作任务直接卡死。更好的做法是让物理约束项间接限制过快的动作比如接触力约束会自然惩罚突然的大加速度。AssistMimic 应该也是这么想的因为从实验视频里看动作比较柔和稳健没有那种强化学习常见的抖动。3. 物理接地的关键实现与训练细节3.1 接触刚度和摩擦锥的仿真基础要想让策略在真机上也能“接地气”仿真里的接触建模必须足够真实。最基础的是接触刚度也就是两个物体碰在一起时力随穿透深度变化的曲线。刚度过低机器人会陷进地面刚度过高仿真步长必须很小计算量爆炸。AssistMimic 这类工作一般会把接触刚度设定在接近真实橡胶和混凝土接触的水平同时开启接触阻尼来抑制高频振荡。摩擦锥也很关键。人形机器人脚底通常用高摩擦橡胶但摩擦系数并不是越大越好。系数过大策略会依赖过大的摩擦力完成急转这在光滑地面上会直接翻车。所以好的做法是给摩擦系数设置一个合理的均值然后在训练时加随机扰动让策略学会在0.6到1.2的摩擦系数范围内都能稳定。物理接地要求你的策略不要贴着摩擦锥边界走而是要留出30%到40%的安全余量这样才能应对真实地面摩擦突变。我复现类似任务时特别注意了仿真步长。人形双人协作这种密集接触任务步长低于500Hz几乎必出穿透问题。AssistMimic 应该是用了变步长或者高频子步因为从开源片段看接触力曲线没有明显的高频抖动。高步长带来的计算开销可以通过并行环境数量来摊薄这块是工程团队的核心积累。3.2 域随机化从仿真到真实机器人的桥梁单纯仿真里训练好的策略直接上真机基本都会失败因为真机存在传动摩擦、电机延迟、质量分布误差、地面非线性等一堆仿真没建好的东西。AssistMimic 的域随机化主要体现在几个方面质量扰动、关节力矩增益扰动、接触摩擦系数扰动、还有传感器延迟扰动。质量扰动是因为两个机器人的负载分配不可能完全相同你得让策略适应“同伴比我重20%”或“我比仿真轻5%”的情况。力矩增益扰动解决的是真机电机的响应滞回问题仿真里给个目标力矩瞬间就能达到真机要喘一口气。传感器延迟扰动也很重要策略必须学会在感觉信息晚到十毫秒时依然不慌这跟人喝醉酒还能勉强不倒是一个道理。做域随机化有个容易被忽略的点扰动范围不能太小也不能太大。太小没法覆盖真机分布太大策略会退化成一个“驼背慢动作”。比较稳妥的做法是先跑通无随机化的训练然后逐步增加扰动幅度同时监控任务成功率。如果成功率掉太多说明策略容量不够需要增大网络容量或者调整奖励降权。3.3 训练稳定性的工程细节多智能体强化学习最大的工程痛点是训练不稳定。单个智能体的策略更新会改变环境动态对另一个智能体来说就是一个非平稳环境。AssistMimic 应对方案里应该包含经验回放隔离和策略更新节奏控制。经验回放隔离的意思是两个智能体可以共享环境数据但各自优化自己的价值函数时只采自己所需要的那部分状态转移。另一个细节是价值函数的输入要显式包含“对方的关键状态”比如对方脚底受力、对方腰部偏角。如果不把这些信息喂给价值函数策略就会变得反应迟钝动作滞后。AssistMimic 在这块的做法我觉得很聪明共享一小段交互特征但每个智能体最终的动作输出还是独立生成。这样既保证了协同又避免了网络参数被两个角色的任务撕裂。训练时我还建议定期做一次冻结评估把其中一个策略固定不更新只更新另一个看协同水平是否保持。这个方法能快速定位“谁在贡献谁在拖后腿”。如果固定同伴策略后任务成功率反而上升说明你的多智能体训练陷入了某种伪协同也就是一个策略过度适应另一个策略的缺陷这在仿真里很常见。4. 复现与落地中常见的坑4.1 训练发散奖励震荡之外更要看熵很多人训练强化学习遇到发散第一反应是调学习率或者裁剪奖励但多智能体协作任务的发散往往出现在熵值崩溃上。熵值下降太快意味着策略过早锁死到某个动作模式失去探索能力。两个机器人如果同时锁死到一种尚不成熟的配合方式任务完成率看着还行但稍微加点扰动就崩。我一般会在训练日志里同时记录两个策略的熵和接触力峰值。如果熵值在一万步内掉到初始值的十分之一就要降低熵正则权重或者增大探索噪声。AssistMimic 这类工作能稳定跑出结果估计他们的熵正则策略也是有讲究的不是固定系数而是根据任务完成率动态缩放。还要注意一个细节奖励不要被无限放大到一个值域。双人协作的奖励通常包含力和位置误差量纲差异很大如果不做归一化力项很容易碾压其他项导致策略只追求减小力误差而忽略了行走步态。建议每个奖励分量在做加权前先除以各自的运行均值保持量级在零点几到几之间。4.2 双智能体“抢功”问题多智能体协作任务里经常会看到一个有趣的现象两个机器人抢着完成任务甚至互相推搡。原因是如果奖励完全按全局任务距离给策略会发现自己单独靠近目标也能拿到一部分奖励于是它们不再配合而是争先恐后往目标挤。解决这个问题的经典方法是给“角色互斥”约束。具体做法可以是让两个智能体分别学习一个隐角色变量这个变量规定了谁在任务中扮演主操作者谁扮演支撑者。角色是软性的也就是用概率表达而不必硬编码。AssistMimic 没有明确说角色编码但从他们的实验对比里能看出来学到的策略有稳定的主从分工应该是通过奖励结构里的站位约束自然涌现出来的。复现时可以尝试给两个机器人的末端轨迹加上偏移目标让它们推向物体的力在方向上互补。如果两个力方向夹角小于九十度说明它们在协同推如果夹角接近一百八十度那就是在互相顶着需要调整奖励函数里的交互力方向项。4.3 从仿真到实物哪些差异最致命仿真与实物差异里最致命的是脚底接触的等效摩擦方向和腿部的关节柔性。脚底接触差异会导致策略沿相同动作产生完全不同的地面反力轻则动作漂移重则摔倒。关节柔性则让运动轨迹出现滞后和抖动策略原本设计好的阻尼反馈会被关节弹性抵消。我在实际迁移中踩过的坑是忽略了电机加速度限制。仿真里转矩可以直接阶跃真机电机有最大加速度导致仿真里完美的策略在真机上启动瞬间就失稳。解决办法是在仿真环境的动作接口里加入一个低通滤波模拟电机加速度限制带宽大概设到20到40赫兹。这个细节虽然不起眼但往往决定了迁移是否成功。另外双人协作还有一个特殊问题两个真机器人的状态估计如果存在时间不同步接触力的预估会偏差很大。AssistMimic 这类工作通常在仿真里假设观测完全同步但真机出现几十毫秒的帧不同步就很常见。建议在上真机前先做一个双机时钟同步并给策略输入加入时间间隔特征让策略学会容忍时间延迟。5. 写在最后我的个人体会和可扩展方向读 AssistMimic 这篇工作最打动我的不是他们用了什么新奇的网络结构而是对“物理接地”这个看似朴素概念的坚持。很多人形机器人控制研究都在追求模仿得像、动作花哨但真正到了双人协作这种需要实时交换力的场景策略对物理约束的敬畏程度立刻就体现出来了。我复现过程中体会到把接触力约束做得够扎实比加十个奖励项更管用。后续可以扩展的方向也挺多。一个是引入更细粒度的手部抓取接触模型让协助动作不局限于推和扶还能扩展到手把手传递物体。另一个方向是把这个框架推广到人机协作也就是一个机器人配合一个真人这比两个机器人协作更有应用空间因为真人动作更不可预测策略需要有更强的适应性。还有就是在 Sim2Real 方向继续做深度延迟补偿让策略对通信时延和传感器时延更加鲁棒这对产品化落地非常关键。如果你正准备复现类似的双人协作控制任务我建议从仿真下手的顺序是先跑通单纯模仿学习再叠加物理约束正则最后逐步加入强化学习微调。不要一上来就挑战多智能体对抗策略的复杂性那样很容易在调试上耗掉太多精力。这个领域还有很长的路要走但 AssistMimic 至少在“物理接地”这个关键词上给后来者立了一个很好的标杆。