为了账号安全,请及时绑定邮箱和手机立即绑定
首页 手记 人工智障学习笔记——强化学习(...

人工智障学习笔记——强化学习(3)蒙特卡洛方法

2018.07.16 21:51 1828浏览

上一章我们了解了马尔可夫决策过程的动态规划方法,但是动态要求一个完全已知的环境模型,这在现实中是很难做到的。另外,当状态数量较大的时候,动态规划法的效率也将是一个问题。所以本章我们引用一种不需要完整的环境模型的方法概念——蒙特卡罗方法。

蒙特卡洛是一个赌城的名字。又叫统计模拟方法,它使用随机数(或伪随机数)来解决计算的问题,是一类重要的数值计算方法。相对于确定性的算法,蒙特卡洛方法是基于抽样数据来计算结果。

蒙特卡洛方法在强化学习中的基本思路为:模拟 -> 抽样 -> 估值。我们已知强化学习的目的是得到最优策略。蒙特卡罗方法仅仅需要经验就可以求解最优策略,这些经验可以在线获得或者根据某种模拟机制获得。我们仅将蒙特卡罗方法定义在episode task上,所谓的episode task就是指不管采取哪种策略π,都会在有限时间内到达终止状态并获得回报的任务。比如玩棋类游戏,在有限步数以后总能达到输赢或者平局的结果并获得相应回报。所谓经验其实就是训练样本。比如在初始状态s,遵循策略π,最终获得了总回报R,这就是一个样本。如果我们有许多这样的样本,就可以估计在状态s下,遵循策略π的期望回报,也就是状态值函数Vπ(s)了。蒙特卡罗方法就是依靠样本的平均回报来解决增强学习问题的。

策略评估迭代过程:
1. 探索 - 选择一个状态(s, a)。
2. 模拟 - 使用当前策略π,进行一次模拟,从当前状态(s, a)到结束,随机产生一段情节(episode)。
3. 抽样 - 获得这段情节上的每个状态(s, a)的回报G(s,a),记录G(s,a)到集合Returns(s,a)。
4. 估值 - q(s, a) = Returns(s, a)的平均值。
(因为状态(s, a)可能会被多次选择,所以状态(s, a)有一组回报值。)

策略优化 - 使用新的行动价值q(s,a)优化策略π(s)。

策略评估迭代步骤一般会针对所有的状态-行动,或者一个起始(s0,a0)下的所有状态-行动。这也说明持续探索(continual exploration)是蒙特卡洛方法的主题。模拟过程 - 会模拟到结束。是前进式的,随机选择下一个行动,一直前进到结束为止。因此可以看出蒙特卡洛方法需要大量的迭代,才能正确的找到最优策略。策略评估是计算行动价值(q(s,a))。

蒙特卡罗策略估计(Monte Carlo Policy evalution)

首先考虑用蒙特卡罗方法来学习状态值函数Vπ(s)。估计Vπ(s)的一个明显的方法是对于所有到达过该状态的回报取平均值。这里又分为first-visit MC methods和every-visit MC methods。这里,我们只考虑first MC methods,即在一个episode内,我们只记录s的第一次访问,并对它取平均回报。当我们经过无穷多的episode后,Vπ(s)的估计值将收敛于其真实值。


动作值函数的MC估计(Mote Carlo Estimation of Action Values)

在状态转移概率p(s'|a,s)已知的情况下,策略估计后有了新的值函数,我们就可以进行策略改进了,只需要看哪个动作能获得最大的期望累积回报就可以。然而在没有准确的状态转移概率的情况下这是不可行的。为此,我们需要估计动作值函数Qπ(s,a)。Qπ(s,a)的估计方法前面类似,即在状态s下采用动作a,后续遵循策略π获得的期望累积回报即为Qπ(s,a),依然用平均回报来估计它。有了Q值,就可以进行策略改进了。

https://img2.sycdn.imooc.com/5b4ca2ba0001c86002250031.jpg


持续探索(Maintaining Exploration)

我们通过一些样本来估计Q和V,并且在未来执行估值最大的动作。这里就存在一个问题,假设在某个确定状态s0下,能执行a0, a1, a2这三个动作,如果智能体已经估计了两个Q函数值,如Q(s0,a0), Q(s0,a1),且Q(s0,a0)>Q(s0,a1),那么它在未来将只会执行一个确定的动作a0。这样我们就无法更新Q(s0,a1)的估值和获得Q(s0,a2)的估值了。这样的后果是,我们无法保证Q(s0,a0)就是s0下最大的Q函数。Maintaining Exploration的思想很简单,就是用soft policies来替换确定性策略,使所有的动作都有可能被执行。比如其中的一种方法是ε-greedy policy,即在所有的状态下,用1-ε的概率来执行当前的最优动作a0,ε的概率来执行其他动作a1, a2。这样我们就可以获得所有动作的估计值,然后通过慢慢减少ε值,最终使算法收敛,并得到最优策略。简单起见,在下面MC控制中,我们使用exploring start,即仅在第一步令所有的a都有一个非零的概率被选中。


蒙特卡罗控制(Mote Carlo Control)

MC版本的策略迭代过程:

https://img2.sycdn.imooc.com/5b4ca2c1000197fd05460056.jpg

值函数Qπ(s,a)的估计值需要在无穷多episode后才能收敛到其真实值。这样的话策略迭代必然是低效的。我们看动态规则的值迭代算法,每次都不用完整的策略估计,而仅仅使用值函数的近似值进行迭代,这里也用到了类似的思想。每次策略的近似值,然后用这个近似值来更新得到一个近似的策略,并最终收敛到最优策略。这也就是我们常说的广义策略迭代思想。即:在每个episode后都重新估计下动作值函数(尽管不是真实值),然后根据近似的动作值函数,进行策略更新。

总结:

蒙特卡洛方法的适用条件:1.环境是可模拟的:在实际的应用中,模拟容易实现。相对的,了解环境的完整知识反而比较困难。由于环境可模拟,我们就可以抽样。2.只适合情节性任务(episodic tasks)因为,需要抽样完成的结果,只适合有限步骤的情节性任务。尽管蒙特卡罗方法和动态规划方法存在诸多不同,但蒙特卡罗方法也借鉴了很多动态规划中的思想。比如他们都是首先进行策略估计,计算特定策略π对应的Vπ和Qπ,然后进行策略改进,最终形成策略迭代。


点击查看更多内容
0人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
手记
粉丝
40
获赞与收藏
184

关注TA,一起探索更多经验知识

同主题相似文章浏览排行榜

风间影月说签约讲师

51篇手记,涉及Java、MySQL、Redis、Spring等方向

进入讨论

Tony Bai 说签约讲师

152篇手记,涉及Go、C、Java、Python等方向

进入讨论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消