Lecture 20：逆强化学习（Inverse Reinforcement Learning）一、课程结构概览逆强化学习（Inverse Reinforcement Learning, IRL），这也属于从离线数据中进行学习。从专家那里学习奖励函数，而非直接学习动作。第七组主题是离线数据驱动的机器人操作，将进入机器人学习系列专题（包括语言模型/视觉语言模型、用于机器人学的基础模型、逼真的机器人仿真、安全的机器人学习、多任务机器人学习等）。二、逆强化学习大纲回顾在线强化学习（Recap: Online RL）回顾离线强化学习（Recap: Offline RL）什么是 IRL 以及为什么需要 IRL？线性奖励公式及算法（Linear reward formulations and algorithms）：线性规划 IRL（Linear programming IRL）最大间隔 IRL（Maximum margin IRL）最大熵 IRL（Maximum entropy IRL）三、回顾：在线强化学习（Recap: Online RL）我们先回顾一下在线强化学习，因