【强化学习】——03 Model-Free RL之基于价值的强化学习

\quad\quad
\quad\quad 动态规划算法是基于模型的算法，要求已知状态转移概率和奖励函数。但很多实际问题中环境

可能是未知的，这就需要不基于模型（Model-Free）的RL方法。

\quad\quad 其又分为：

• 基于价值（Value-Based RL）的强化学习，学习并贪婪地选择值最大地动作（确定性策略）
• 基于策略（Policy-Based RL）的强化学习，对策略进行建模和优化（随机性策略）

\quad\quad 主要区别在于优化目标和动作选择的方式

• 基于价值的RL，优化目标是价值函数$Q(s,a)$或$V(s)$，通过价值函间接选择动作
• 基于策略的RL，优化目标是策略函数$\pi (s)$，通过优化策略参数来最大化累计奖励

\quad\quad 本文先介绍基于价值的强化学习

一、不基于模型的“预测”——更新$V_{\pi }(s)$

（一） 蒙特卡洛算法MC

1. 主要思想：

\quad\quad 通过大量采样来逼近真实值，用频率来估计概率。通过多次采样，使用一个事件发生的频率来替代其发生的概率，以解决状态转移概率未知的问题。

\quad\quad Agent与环境交互产生若干完整的轨迹（从初态到末态），通过对多条轨迹的回报进行平均，进而估计状态价值或动作价值。

2. 整体思路：

\quad\quad 模拟——抽样——估值

\quad\quad 强化学习的目标是寻找最优策略，方法是求$V_{\pi }(s)$和$Q_{\pi }(s,a)$

3. 实现：

（1）策略评估：

\quad\quad 初始化——选择一个$(s,a)$

\quad\quad 模拟——使用当前策略$\pi$，从$(s,a)$进行一次模拟，随机产生一段轨迹

\quad\quad 抽样——获得这段轨迹上每个$(s_i,a_i)$的收获$G(s_i,a_i)$

$$G_t=R_{t+1}+\gamma R_{t+2}+...+{\gamma }^{T-t-1}{R}_T$$

$$V_{\pi }(s)=E[G_t|S_t=s]$$

\quad\quad 注意：实际上我们使用N个样本回报来估计期望回报，即$V_{\pi }(s)\approx 1/N\sum G_t$

\quad\quad 但在等待一个轨迹的过程中，会产生估计误差。

\quad\quad 我们可以使用真实回报来纠偏，使得新的估计=原有估计+学习率×实际回报和估计回报的误差

$$V(S_t)\leftarrow V(S_t)+\alpha [G_t-V(S_t)]$$

\quad\quad 直至预测的回报无限接近真实的回报

（2）策略优化：

\quad\quad 如选择贪心地改进策略，$\pi (s)\dot{=}{\mathrm{argmax}}_{a}q(s,a)$

\quad\quad 优化$Q_{\pi }(s,a)$和$\pi (s)$

（二）时序差分算法TD

\quad\quad MC要求所有采样序列都是完整的状态序列。如果没有完整的状态序列，可采用时序差分算法

1. 引导：

\quad\quad 由于没有完整的状态序列，因此收获的计算不能用$G_t$的公式。

\quad\quad 根据状态价值函数的定义，用$R_{t+1}+\gamma V_{\pi }(S_{t+1})$来替代$G_t$，作为TD的目标值

\quad\quad 这一过程称为引导，使只需要两个连续的状态和奖励，便可以尝试求解强化学习问题

2. 时序差分的预测问题：

\quad\quad 根据状态价值函数的定义$V_{\pi }(s)=E[G_t|S_t=s]$

\quad\quad 对于蒙特卡洛算法，$G_t=R_{t+1}+\gamma R_{t+2}+...$带入计算

\quad\quad 对于时序差分算法，$G_t=R_{t+1}+\gamma V(S_{t+1})$带入计算

\quad\quad 从中也可以看出，时序差分方法是一种当前状态价值的有偏估计，而蒙特卡洛算法是无偏估计

\quad\quad 类似地，用误差学习方法进行纠偏从而对状态价值函数进行估计：

V ( S t ) ← V ( S t ) + α [ R t + 1 + γ V