1. 什么是在线MC强化学习
在线强化学习(on-policy MC RL),是指:智能体在策略评估时为获取完整轨迹所采用的采样策略 π s a m p l e ( a ∣ s ) \pi_{sample}(a|s) πsample(a∣s),与策略控制时要改进的策略 π ( a ∣ s ) \pi(a|s) π(a∣s)都是同一个策略,即: π = π s a m p l e \pi=\pi_{sample} π=πsample。
简而言之:所谓在线,就是在对一个初始策略评估的同时,利用 ϵ − \epsilon- ϵ−贪心算法对它进行及时改进。
2. 什么是离线MC强化学习
所在离线强化学习(off-policy MC RL),是指:智能体在策略评估时为获取完整轨迹所采用的采样策略 π s a m p l e ( a ∣ s ) \pi_{sample}(a|s) πsample(a∣s),与策略控制时要改进的策略 π ( a ∣ s ) \pi(a|s) π(a∣s)不是同一个策略,即: π ≠ π s a m p l e \pi\ne\pi_{sample} π=πsample。
3. 在线MC强化学习有何缺点
- 所学到的策略可能不适合作为最终的策略使用。