本文参考了下面两个文章 以及使用AI大模型。1.【强化学习理论】状态价值函数与动作价值函数系列公式推导【强化学习理论】状态价值函数与动作价值函数系列公式推导_强化学习 价值函数推导-CSDN博客2.01强化学习概述从马尔可夫决策过程到智能体与环境交互01强化学习概述从马尔可夫决策过程到智能体与环境交互-强化学习快速入门与实战-极客时间一、基础概念1.策略是智能体根据当前状态选择动作的规则决定智能体在环境中如何行为。通常记为 π。给定状态 s给出选择各个动作的概率.2.奖励函数表示某状态s 下采取动作a 的奖励指转移到该状态并采取该动作时能够获得的奖励的期望即3.奖励与回报Return指从某一时刻开始的所有奖励的累积折扣和用表示折扣因子为4.价值(value)是一个基于状态的概念某个状态的价值指从某时刻的某状态s 开始直至终止状态时累积奖励的期望。价值函数 (value function)可以理解成一个映射关系输入是状态s ​输出是该状态的价值。即为5.状态与转移概率由环境的随机性产生用 P(s′∣s,a) 表示指在状态 s 执行动作 a 后转移到状态 s′ 的概率这个概率是由于环境的随机性产生的。6.状态价值函数:表示在策略 π 下从状态 s 出发的长期期望奖励。7.动作价值函数 表示在策略 π 下从状态 s 执行动作 a 后的长期期望奖励。8.两者之间的关系二、从树的角度理解状态价值函数与动作价值函数之间关系1.以树的视角看 动作a是以状态s为根的树的子树这个子树又以动作a为根。以状态s为根的整棵树。以动作a为根的那颗子树。状态 s├── 动作 a1概率│ ├── 环境转移到 s11概率│ │ ├── 后续动作...│ │ └── ...│ ├── 环境转移到 s12概率│ │ └── ...│ └── ...├── 动作 a2概率│ ├── 环境转移到 s21概率│ │ └── ...│ └── ...└── ...2.是从动作分叉(策略随机性)的角度看待两者之间的关系。状态 s├── 动作 a1概率│ ├── 环境转移到 s11│ │ ├── 后续动作...│ │ └── ...│ ├── 环境转移到 s12│ │ └── ...│ └── ...├── 动作 a2概率│ ├── 环境转移到 s21│ │ └── ...│ └── ...└── ...3.是从环境分叉(环境随机性)的角度看待两者之间的关系。状态 s├── 动作 a1概率│ ├── 环境转移到 s11概率│ │ ├── 后续动作...│ │ └── ...│ ├── 环境转移到 s12概率│ │ └── ...│ └── ...├── 动作 a2概率│ ├── 环境转移到 s21概率│ │ └── ...│ └── ...└── ...