文章目录
- 1. MC学习中的策略控制是什么
- 2. 基于贪心算法的策略改进的基本描述
- 3.MC学习中完全使用贪心算法可行否
- 4. 如何改进完全贪心算法
- 5. 何谓 ε − \varepsilon- ε−贪心算法
1. MC学习中的策略控制是什么
根据策略评估阶段得到的策略 π \pi π下的行为值函数 Q ( s , a ) Q(s,a) Q(s,a)，使用贪心算法改进策略的过程.
2. 基于贪心算法的策略改进的基本描述
- 不考虑数值计算误差的贪心算法
{ a m a x = arg max a ∈ A ( Q ( s , a ) ) π ( a ∣ s ) = { 1 a = a m a x 0 a ≠ a m a x s ∈ S \begin{cases} a_{max} = \argmax_{a\in A}\left(Q(s,a) \right)\\ \pi(a|s) = \begin{cases} 1\qquad a=a_{max}\\ 0\qquad a\ne a_{max} \end{cases} \end{cases}\qquad s\in S ⎩ ⎨ ⎧amax=argmaxa∈A(Q(s,a))π(a∣s)={1a=amax0a=amaxs∈S
不考虑数值计算误差的贪心算法，求得的最优行为只有1个( a m a x a_{max} amax)，实际中，可能有两个不同的a的值，都使得Q(s,a)取最大值，甚至由于计算误差，原本有两个最优a，最后变成了一个，这可能会导致最优动作的选取不全面。 - 考虑数值计算误差的贪心算法
- 这一算法考虑了数值计算误差
- 设定一个较小的数值计算误差阈值 ϵ > 0 \epsilon>0 ϵ>0
- 则： a = b ⇔ ∣ a − b ∣ < ϵ a=b\Leftrightarrow |a-b|<\epsilon a=b⇔∣a−b∣<ϵ
- 则实际编程中按如下表达式更新策略
{ Q m a x ( s ) = max a ∈ A Q ( s , a ) A m a x ( s ) = { a ∣ a ∈ A 且 Q m a x − Q ( s , a ) < ϵ } π ∗ ( a ∣ s ) = { 1 / l e n g t h ( A m a x ( s ) ) a ∈ A m a x ( s ) 0 a ∉ A m a x ( s ) s ∈ S \begin{cases} Q_{max}(s)&=\max_{a\in A} Q(s,a)\\ A_{max}(s)&=\{a|a\in A且Q_{max}-Q(s,a)<\epsilon \}\\ \pi^*(a|s)&=\begin{cases} 1/\mathrm{length}\left(A_{max}(s)\right) \quad a\in A_{max}(s)\\ 0 \qquad a\notin A_{max}(s) \end{cases} \end{cases}\qquad s\in S ⎩ ⎨ ⎧Qmax(s)Amax(s)π∗(a∣s)=maxa∈AQ(s,a)={a∣a∈A且Qmax−Q(s,a)<ϵ}={1/length(Amax(s))a∈Amax(s)0a∈/Amax(s)s∈S
3.MC学习中完全使用贪心算法可行否
不可行!!!
为什么？
- Q(s,a)是利用交互生成的完整轨迹更新自身的，理论上，只有当全部完整轨迹覆盖所有可能的状态行为对(s,a)，Q(s,a)的估计值才为真实值，实际中不可能满足这一条件。
- 例如：我们要根据12月的哪一天（相当于31个状态），从桂林市挑选性价比最高的米粉店吃米粉（相当于从行为空间中选取最优行为），理论上，我们应该每年12月份每一天，选择1个桂林米粉店吃米粉，对31天的每一天、每一个米粉店都试吃足够的次数，才能使我们对12月份的任何一天，哪家米粉店的性价比最高有尽可能接近于真实值的评估。这在实际中可行吗？
- 既然Q(s,a)估计不是真实值，完全根据贪心算法选取的行为，就可能不是最优行为，换句话说，在某个状态s下，完全采用贪心算法就可能让我们漏掉能带来更高回报的行为，而那些行为在完全贪心算法的控制下，被选取的概率为0！
- 例如：我记得有一套央视举办的闯关节目，这类节目通常设计了几道关卡，每当选手通过一道关卡，就能获得相应的奖金，而且越靠后的关卡，对应的奖金越高（有类似指数的关系）。这种节目的趣味性在于，当选手过了某一关卡后，面临选择：选择退出，能确保赢得过去累积获得的奖金，选择继续闯关，有可能闯关不成功而使自己空手而归，也有可能使奖金翻倍，如果是你，将如何选择？显然我们的困惑在于，没法估计我们的能力是否能应对下一关的挑战。这是一个概率问题。
4. 如何改进完全贪心算法
使用 ε − 贪心算法 ‾ \underline{\varepsilon-贪心算法} ε−贪心算法
5. 何谓 ε − \varepsilon- ε−贪心算法
5.1 基本思想
- 相对于完全贪心算法，我把它称为 部分贪心算法 ‾ \underline{部分贪心算法} 部分贪心算法。完全贪心算法是完全利用过去的经验（过去经历的没有覆盖所有可能情况的完整轨迹），每次都选择自认为能带来最大累积回报的行为，这是纯经验论者的操作；而 ϵ − 贪心算法 \epsilon-贪心算法 ϵ−贪心算法，即考虑过去经验（对既往经验的利用），又没有完全排除那些被纯经验论者无视的行为（对未充分了解的（状态-行为）对的探索）
- ϵ − 贪心算法 \epsilon-贪心算法 ϵ−贪心算法体现了强化学习的基本思想，即：利用与探索的平衡。在状态s下，给定 ϵ ∈ ( 0 , 1 ) \epsilon\in(0,1) ϵ∈(0,1)，先让所有行为都有被选择的基准概率 ϵ n A \frac{\epsilon}{nA} nAϵ(nA位行为空间长度），在此基础上，把那些用完全贪心算法选取的最优行为的选取概率增加一点，使得所有行为被选取的概率总和仍然为1，显然， ϵ \epsilon ϵ大小反映了探索的比重，该值越大，则探索的比重越大，反之越小。其选择也是一种技巧，比如，考虑到随着经历的完整轨迹数的增多，经验的价值就越大，相应的 ϵ \epsilon ϵ应该逐渐减小（即越来越不需要过多地探索新情况）。
5.2 基于 ϵ − 贪心算法 \epsilon-贪心算法 ϵ−贪心算法的策略控制的形式化描述
- 输入： ϵ \epsilon ϵ，策略 π ( a ∣ s ) \pi(a|s) π(a∣s)，行为值函数 Q ( s , a ) Q(s,a) Q(s,a)
- 输出：更新后的策略 π ( a ∣ s ) \pi(a|s) π(a∣s)
- 过程：
f o r s i n S : a m a x = arg max a ∈ A ( Q ( s , a ) ) f o r a i n A : π ( a ∣ s ) = ϵ n A i f a = a m a x : π ( a ∣ s ) = π ( a ∣ s ) + ( 1 − ϵ ) \begin{align*} &for \quad s \quad in \quad S:\\ &\qquad a_{max}=\argmax_{a\in A}(Q(s,a))\\ &\qquad for \quad a \quad in \quad A:\\ &\qquad\qquad \pi(a|s)=\frac{\epsilon}{nA}\\ &\qquad\qquad if \quad a=a_{max}:\\ &\qquad\qquad\qquad \pi(a|s)=\pi(a|s)+(1-\epsilon) \end{align*} forsinS:amax=a∈Aargmax(Q(s,a))forainA:π(a∣s)=nAϵifa=amax:π(a∣s)=π(a∣s)+(1−ϵ)
注：这里采用了不考虑计算误差的贪心策略，也可以考虑使用带计算误差的贪心策略。具体请读者实践。
5.3 ϵ − 贪心法 \epsilon-贪心法 ϵ−贪心法能保证策略收敛到最优否
理论上已经证明：
使用该策略可以改进任意一个给定的策略，并且在评估这个策略的同时能改进它，不断趋近最优策略
关于这个证明，有兴趣的朋友，可参考邹伟强化学习一书的第4章(P53)
