Optimal policy最优策略state value可以被用来评估一个策略的好坏如果有这说明策略一要优于策略二。基于此我们定义若pi*在所有状态中的state value是最大的我们称其为最优策略。这样的定义带来了几个问题这些问题的答案可以从贝尔曼最优方程中找到答案。贝尔曼最优方程其中是已知的是未知等待被计算的。贝尔曼最优方程还有向量形式贝尔曼方程的解法通过一个简单的例子可以了解解题思路首先我们先看右边这个方程要使得2x-1-a^2最大我们易得当a0时取得最大值因此右边就变为了2x-1此时可以得到x2x-1得到x1。我们类推到贝尔曼方程形式简化得到c1、c2、c3依次对应着不同a下的因为它是条件概率自带两个限制条件1.c1、c2、c3一定大于02.c1c2c31。action value中会有一个最大值我们假设q3大于q1、q2因此要使得该式取得最大值我们令c31c1c20取得最大值q3。BOE的改写压缩映射定理不动点如果有f(x)x我们成x是f(x)的不动点压缩映射:如果有我们称f(x)是压缩映射函数。对于任意压缩映射函数我们有三个性质这回答了之前的问题关键在于第三个我们可以通过迭代的方式求得不动点。该算法对于矩阵也成立。BOE的压缩映射因此我们也可以通过迭代法得到BOE的不动点例题这是个简单的例子简单是为了人工进行计算否则计算量很大首先先列出q-value表。我们的目标是找到最优的value-state和策略开始迭代从k0开始令所有value-state初始值为0得到q-value表在通过贪心策略选出最优的策略v1为action-value的最大值。k1带入v1的值得到新的q-value表再筛选最优的策略v21.9之后再继续迭代最终得到v*10。本题最优策略特别地最优策略不一定唯一如果某个状态里两个动作的q*相等且同为最大值那么随机在这两个动作里选的随机策略同样也是最优策略。对最优策略的分析决定最优策略的因素有三个reward、system model、discount rate。例子通过改变discount rate来看对最优策略有何影响。当discount rate 0.9时最优策略会进入禁入区域。当改为0.5时最优策略会绕开所有禁入区域策略变得相对近视。当改为0时策略变得极其近视由此discount rate的改变会使策略发生变化。若我们把惩罚加重由-1变为-10而discount rate为0.9可以看出最优策略绕开了禁入区域因此reward也会改变策略。a是最优策略而b不是二者的差别在于b走了远路但是由于没有禁入区域所以绕远路并不会受到惩罚那么为什么最优策略不会绕远路呢这是因为discount rate通过计算两策略的return可以发现绕远路的return多了γ^2。summary