强化学习第7课：交叉熵方法的一些局限性

上次介绍的交叉熵方法，交叉熵方法虽然非常有效，但是也有一些缺点。

例如，如果你只尝试100次的话，那么可能会有一些稀少的情况，在这100次中只出现那么一两次。这样的话，会得到一个非常奇怪的概率分布，可能会一直重复某一个行动。也许你可以通过增加实验的次数来改进这个问题，比如说100次增加到10000次，但是如果骑自行车摔倒1万次的话，那会非常疼。

这时可以用 smoothing

要做的就是在正规化之前给所有的概率都加一些小的正数，这样就永远不会得到概率为零的数。所以，即使某个状态可能只达到过一次，也仍然能采取其他的 action。

另外交叉熵方法在随机过程中应用的话会变得有点复杂。

当一个环境有一些随机性时，例如我们在一个赌场中，可能有两种行为。一种是可以离开赌场，一种是走到最近的老虎机，投进去一个硬币，拉动推杆，然后多数情况下都会输掉一刀，但有些时候你也会赢三刀。当重复这个游戏一百次时，我们可能会输掉一百多刀，也有可能很幸运地选择了离开赌场，也有可能幸运地赢得了钱。

那么在这种情况下，如果在其中选择25次最好的结果，很容易是有 biase 的，因为它会偏向幸运的赢钱的情况。当它赢三刀后，它就会一直拉动这个推杆，而直到输掉所有的钱。

交叉熵方法虽然可以应用到很多东西上，从机器人到优化广告，到推荐系统，到机器翻译，到金融等几乎任何事情，但比针对特定目的方法表现的要差一些。

交叉熵方法还有一个问题是，它在骑自行车这种可能只有十个state和四个action的小问题上表现还算足够，但还不能应用到数据量较大的问题中去。比如操作一个自动驾驶汽车，或者玩游戏，状态空间可能不是离散的，而是连续的，是无法用技术来记录的，或者考虑的是摄像头的输入，那时图片的数量是非常大的，这时不能再存储一个state-action的概率表格了。

学习资料：

Practical Reinforcement Learning

Hello World ！

This is 不会停的蜗牛 Alice ！

🐌 要开始连载强化学习系列啦！

今天开始我们一起来每天 2 分钟，get 强化学习的一个小知识吧！