2025 年刚开年具身智能赛道就投下了一枚深水炸弹前字节跳动、腾讯 AI 核心研发孙鹏正式加盟机器人公司星尘智能方向直指机器人强化学习后训练。消息一出圈内讨论的焦点其实不是“又一位大牛跳槽”而是“为什么顶尖 AI 人才开始集体涌向‘后训练’这个此前并不性感的环节”。过去几年我们见证了预训练模型的一路狂飙更大参数、更多数据、更强基座。但大模型落地到机器人身上时一个尴尬的事实摆在眼前——基座模型学得再多机器人到了真实物理世界里照样不会端一杯水、不会叠一件衣服。问题不出在“预训练”而出在“后训练”。这篇内容想从这条人事变动切入认真聊聊为什么机器人强化学习后训练会在今年成为关键战场它和过去大家理解的 RLHF 有什么本质区别在工程落地时又会遇到哪些比“算法刷点”更现实的坑1. 先看清一个事实机器人缺的不是“大脑”是“从知道到做到”的那段路1.1 预训练给机器人的是一个“通识知识库”不是一个“熟练工人”先做个类比。一个看过海量菜谱、懂得食材原理、能背出上千种料理步骤的人并不等于一个能在后厨三十秒颠勺出菜的老师傅。预训练模型本质上就是这个“看过很多菜谱的人”。它知道杯子是什么、抓取是什么、物体滑落大概是什么物理过程但它没有真正在物理世界里用机械臂去试过。机器人领域也一样。视觉-语言-动作模型VLA经过大规模预训练后具备了很强的语义理解和跨场景泛化能力。你让它识别一个杯子它没问题你让它描述抓杯子的步骤它也能说出来。但真正让它驱动机械臂去执行一个稳定、顺滑、可复现的抓取动作时基座模型往往表现得像个“理论满分、实操不及格”的学生。从前沿研究视角看具身智能的通用性必须建立在“预训练通识”“后训练适应”的双层结构上。基座模型决定上限后训练决定实际能达到的高度。孙鹏加盟星尘智能并加码强化学习后训练本质上是在补足整个行业最薄弱的一环——让机器人从“懂”变成“会”。1.2 为什么“后训练”是机器人从实验室走向真实场景的必经之路如果只是做 demo、参加比赛预训练模型加一套简单的规则脚本可能就够用了。但真实场景里机器人面对的是物理不确定物体的材质、重心、摩擦力都不一样。任务多样性同一个“整理桌面”指令每次桌面的状态都不同。动态环境人可能突然走过、物体可能被碰倒、光照可能变化。安全约束不能撞人、不能损坏物品、不能做出危险动作。这些都不是预训练阶段能通过“多看数据”解决的。它们需要在真实的物理世界或高保真仿真环境中通过不断试错、不断调整策略才能真正掌握。这个过程就是后训练。孙鹏之前在大厂做 AI 研发时经历过大规模训练系统的搭建和优化到了机器人公司他面对的不再是纯数据、算力和模型架构问题而是“模型参数 物理交互 真实反馈”的三角关系。这种从数字世界到物理世界的跨越正是具身智能和纯大模型研发的最大分水岭。2. 机器人强化学习后训练和 ChatGPT 时代的 RLHF 不是一回事2.1 RLHF 是“让模型更听话”机器人 RL 是“让身体更听话”很多人听到“强化学习后训练”第一反应是 ChatGPT 训练流程里的 RLHF基于人类反馈的强化学习。原理上两者确实共享同一套强化学习框架定义奖励、优化策略、和环境交互。但在具体实现和工程挑战上两者几乎是两个物种。RLHF 面对的是“文本环境”。模型输出一句话人类给个好评差评或者用一个奖励模型打分。反馈是离散、低频、非实时的而且同一个回答可以反复被评估不会破坏任何物理设备。机器人强化学习面对的是“物理环境”。机械臂每转一下、夹爪每合一次都有真实的力矩、位置、速度反馈。反馈是连续、高频、强耦合的。更关键的是一次失败的策略推演可能直接导致机械臂撞坏、物体掉落、或者电机过载。所以机器人后训练需要重点解决的核心问题有三个安全探索怎么在试错过程中不把设备搞坏。样本效率真实机器人采集一条数据太贵了怎么用更少的交互学会一个动作。仿真到现实的迁移不可能全在真实机器人上训练仿真里学到的策略怎么迁移到真实环境。2.2 从“奖励模型”到“奖励函数”难度是几何级数上升大模型 RLHF 里奖励模型通常是一个经过人类偏好数据训练出来的打分器它的目标是“这段回答更像人类喜欢的回答”。这个奖励模型可以反复用、通用性强、而且不需要考虑“安全”最多生成一些不安全的内容再通过内容过滤兜底。机器人后训练的奖励函数直接面对物理世界如果奖励函数定义得太稀疏比如只在“拿起杯子”时给奖励机器人根本不知道怎么优化学习效率极低。如果奖励函数定义得太密集比如每一步都要有一个明确的反馈又很容易被机器人钻漏洞——它可能会通过极端方式获得奖励但产生危险动作。这就非常考验研发团队对机器人运动学、动力学以及真实任务逻辑的理解了。孙鹏这样的 AI 背景人才能带来的不只是强化学习算法经验更关键的是把纯算法能力翻译成“能驱动物理实体高效学习”的系统工程能力。2.3 需要处理的不只是模型还有整个数据飞轮做大模型后训练核心资产是“人类偏好数据”和“模型生成数据的清洗链路”。做机器人后训练核心资产是“机器人交互轨迹数据”。这类数据的采集成本极高而且维度更复杂不是只有文本而是多模态同步数据视觉、触觉、力矩、位置、速度。不是静态标注而是时序动作记录。不是单一环境而是多环境多任务多物体的组合。所以机器人后训练团队要建设的不是一个模型训练流水线而是一整套“真实采集 → 数据清洗 → 仿真增强 → 策略训练 → 真实部署 → 失败数据回流”的闭环。后训练的竞争表面拼算法底层拼的是数据工程和实验效率。3. 从大模型到具身智能人才流动背后的产业信号3.1 为什么是“核心研发”而非“管理岗”来负责这件事孙鹏的履历集中在 AI 研发方向在字节、腾讯负责过核心技术岗位。这次加盟星尘智能选择以“核心研发”角色加码后训练而不是直接挂一个“VP”“CTO”之类的管理头衔这里面的信号值得细品。具身智能还处于早期工程技术放大期而不是管理放大期。行业现在最缺的不是定方向的人而是能把模型在真实机器人上跑稳定、跑快、跑便宜的人。一个顶尖的强化学习工程师带队在一个细分场景里把成功率从 70% 提到 95%这个价值可能比多招二十个产品经理更实在。从星尘智能这家公司的技术路线来看他们一直强调“让机器人像人一样学习”。孙鹏的加入意味着这家公司正在把后训练模块从“附属功能”提升到“核心引擎”的位置。这几乎可以看作是具身智能赛道的一个分水岭行业共识正在从“谁的数据多”转向“谁能把数据高效地变成可泛化的物理技能”。3.2 具身智能的“下半场”开始了预训练之后拼的是后训练工程化过去一年我们看到很多机器人公司发布“通用大模型底座”动辄宣称“一个模型掌握多种技能”。但冷静下来看大多数能力还停留在“学术 demo”层面。真实的客户需求是我要它分拣不同规格的零件成功率至少 99%。我要它在产线上连续工作 8 小时不出事故。我要它能适应新物料不用我重新调参。我要它换了工装后还能保持原有性能。这些需求没有一个是可以靠“更大的预训练模型”直接解决的。它们全部指向一件事必须针对具体任务、具体环境、具体机器人本体做系统化的后训练优化。孙鹏加入星尘智能加码强化学习后训练实际上是整个行业把技术重心从“模型有多大”转移到“技能有多稳”的一个缩影。4. 落地视角机器人强化学习后训练在工程里到底怎么搞4.1 两条技术路线纯真实数据和仿真真实混合从工程实践看机器人后训练通常走两条路线路线一纯真实数据强化学习直接让真实机器人在物理环境里尝试动作通过真实传感器反馈计算奖励并更新策略。优点数据分布最真实学到的策略直接可用。缺点训练速度慢、成本高、容易损坏设备收集一条有效数据可能要好几分钟甚至更久。适用场景任务相对简单、动作空间小、失败风险可控的场景。路线二仿真训练 真实部署先在仿真环境里大规模训练策略再迁移到真实机器人上微调。优点训练速度快可以并行跑几百上千个虚拟环境成本低。缺点存在 sim-to-real gap仿真到现实的差距仿真里学到的策略搬到真实环境可能完全失效。适用场景任务复杂、需要大量试错、或者真实设备昂贵且不能随意损坏的场景。4.2 一个典型的后训练流程通用参考结构以下是一个比较通用的机器人强化学习后训练流程不针对特定厂商或特定算法适合作为理解框架第一步明确任务边界和奖励设计这个任务的核心指标是什么成功率、速度、安全、能耗奖励是稀疏还是密集需要设置哪些硬约束比如不能超过最大力矩、不能靠近人体第二步搭建仿真环境需要高保真的物理仿真器常见的有 MuJoCo、Isaac Gym 等具体选择取决于机器人本体和任务类型。建模物体的材质、摩擦力、质量、碰撞属性。设置任务变体物体位置随机化、光照随机化、相机视角随机化。第三步在仿真中训练基础策略不追求一步到位先让机器人学会一个不完美的可行动作。使用 PPO 或更高效的强化学习算法在并行化仿真环境里大规模采样。记录策略在不同随机化条件下的表现找出泛化能力差的维度。第四步真实部署验证先在低速、小力矩、安全范围内测试。对比仿真和真实的表现差异找出最主要的 sim-to-real gap 来源。这一步往往是整个流程里最耗时、最容易踩坑的环节。第五步真实环境微调用真实数据继续优化策略但学习率和探索噪声要比仿真阶段更保守。重点关注失败的边界案例哪些工况下策略会失效把失败数据回收作为 next round 的训练输入。第六步持续迭代和数据回流后训练不是一次性任务。随着真实使用场景增加不断收集新数据、识别新边缘情况、迭代策略。最终形成“仿真预训练 真实微调 失败回流”的持续学习闭环。4.3 最容易踩坑的四个环节根据工程经验机器人后训练落地时通常会在以下四个地方翻车坑一奖励函数被“钻空子”机器人会找到你完全没想到的方式来获得高奖励。比如你希望它“靠近目标物体”它就高速移动过去结果冲击力过大把物体撞飞。解决办法奖励函数里一定要加入“安全项”“惩罚项”或者使用更底层的力矩控制约束。坑二仿真环境建模不够真实仿真里用理想摩擦系数、理想材质参数策略学得飞快一上真实机器人完全不 work。解决办法从一开始就做 domain randomization域随机化在仿真里把摩擦力、重量、尺寸、光照等参数都做随机扰动强迫策略学到更鲁棒的行为。坑三训练过程中设备损坏真实强化学习训练中探索阶段最容易出事。机械臂可能以超出限制的力去撞桌子、夹爪可能以错误角度硬扣物体。解决办法第一步先做“安全探索策略”限制动作空间、设置软硬件双重保护等策略基本可行后再逐渐放开约束。坑四忽略“策略迁移后的隐性问题”仿真里策略成功率高不代表真实环境里稳定。真实环境中可能遇到传感器噪声、通信延迟、机械结构磨损、电气干扰等。解决办法真实部署后要做一个“稳定性测试”连续跑几百次统计失败模式而不是只看前几次效果。5. 普通 AI 工程师能从这场人事变动里学到什么5.1 后训练正在成为 AI 领域新的核心技术壁垒过去几年大家的注意力几乎全部放在预训练上数据规模、算力规模、模型架构。但 2024 年下半年以来一个明显趋势是业内对后训练的重视程度急剧上升。原因不难理解预训练基座逐渐同质化模型之间真正拉开差距的地方变成了“谁能通过后训练把模型调成最适合特定场景的样子”。对普通 AI 工程师来说这其实是一个机会窗口。预训练大模型的研发门槛越来越高不是一般团队能玩得起的。但后训练的门槛相对低而且直接和业务价值挂钩。它不是非要在千卡集群上才能跑很多场景一台 GPU 机器也能做有价值的工作。不管你是做 NLP、CV 还是推荐系统都可以开始有意识地积累“后训练”的认知和项目经验。这个方向很可能成为接下来两年 AI 工程领域最需要的人才能力之一。5.2 从大模型后训练到机器人后训练技能迁移的路径很多人会觉得机器人强化学习离自己太远了。但如果拆开看核心技能和做模型后训练并没有本质隔阂数据理解能力什么样的数据是有效的、什么样的数据会带偏模型。评估体系设计如何设计离线指标和在线评估体系反映真实效果。奖励/反馈设计如何把业务目标拆解成可优化的目标函数。实验管理能力如何高效地进行大量实验、追踪实验结果、避免重复试错。这些能力在任何 AI 岗位都通用。唯一需要补充的是对“物理世界”的理解真实传感器带来的噪声、物理规律带来的约束、设备本身的机械属性。5.3 建议不要只追热点要把自己嵌入到“真实反馈闭环”里孙鹏这类顶尖 AI 人才从大模型转向机器人后训练表面看是个人选择底层是一个产业逻辑当一个技术领域走到工程落地阶段真正稀缺的人才就不再是“造模型的人”而是“让模型在真实环境里创造价值的人”。如果你现在还在做 AI 相关的工作我有一条比较实际的建议不管你做的是什么方向尽量让自己处在“模型产生输出 → 真实环境反馈 → 模型被优化”的闭环里。哪怕只是一个很小的业务场景只要能真实地跑完这个循环你对 AI 工程的理解就会比只刷榜单、只调参的人深一个层次。具身智能是这个逻辑最极致的体现因为它的反馈不是“分数”而是“物理世界的验证”。这也是为什么这个赛道值得长期关注。孙鹏加盟星尘智能只是一个开始。接下来会有更多 AI 大牛从纯数字世界走向物理世界。后训练正在从“模型的补丁”变成“机器人的灵魂”。对身处 AI 行业的我们来说早一点看懂这个变化早一点在真实反馈闭环里积累能力比围观任何一次人事变动都更有价值。