为了账号安全,请及时绑定邮箱和手机立即绑定
首页 手记 LSTM网络层详解及其应用实例

LSTM网络层详解及其应用实例

2018.11.22 12:52 1742浏览

上一节我们介绍了RNN网络层的记忆性原理,同时使用了keras框架听过的SimpleRNN网络层到实际运用中。然而使用的效果并不理想,主要是因为simpleRNN无法应对过长单词串的输入,在理论上,当它接收第t个输入时,它应该能把前面好几个单词的处理信息记录下来,但实际上它无法把前面已经处理过的单词信息保留到第t个单词输入的时刻。

出现这种现象的原因叫"Vanishing gradian problem",我们以前说要更新某个链路权重中,需要对它求偏导数,但在某种情况下,我们求得的偏导数可能接近于0,这样一来链路权重就得不到有效更新,因为当权重加上一个很接近于0的偏导数时,它不会产生显著的变化。这种现象也会出现在feed forward网络,当网络有很多层时,我们会把误差进行回传,但层次过多时,回传的误差会不断的被“冲淡”,直到某个神经元接收到回传的误差是,该误差的值几乎与0差不多大小,这样求出的偏导数也接近与0,因此链路权重就得不到有效的更新。

这种现象被人工置顶的三位大牛Hochreiter,Schmidhuber,Bengio深入研究后,他们提出一种新型网络层叫LSTM和GRU以便接近偏导数接近于0使得链路权重得不到有效更新的问题。LSTM的全称是Long Short term memory,也就是长短程记忆,它其实是我们上节使用的simpleRNN变种,设想当单词一个个输入网络时,旁边还有一条传送带把相关信息也输入网络,如下图:

webp

屏幕快照 2018-09-07 下午6.10.13.png

这里我们多增加一个变量C来记录每一个单词被网络处理后遗留下来的信息,网络的激活函数还是不变,但是我们要增加多几个变量来计算变量C:
i_t = activation(dot(state_t, Ui) + dot(input_t, wi) + bi)
f_t =activation(dot(state_t, Uf) + dot(input_t, wf) + bf)
k_t=activation(dot(state_t, Uk) + dot(input_t, wk) + bk)
那么C的更新方式为:
C = i_t * k_t  + Cf_t
初看起来,逻辑很难理解,为何我们要增加这些不知所云的步骤呢,它蕴含着较为复杂的设计原理和数学原理,简单来说C
f_t目的是增加一些噪音,让网络适当的“忘记”以前计算留下了的信息,i_t*k_t是让网络增强最近几次计算所遗留下来的信息 ,这里我们不深究,只要囫囵吞枣,知道新增加的变量C是用来帮助网络增强对以前信息处理的记忆,并指导该变量如何更新就好,接下来我们看看LSTM网络的具体应用实例:

from keras.layers import LSTM

model = Sequential()
model.add(Embedding(max_features, 32))
model.add(LSTM(32))
model.add(Dense(1, activation='sigmoid'))

model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc'])
history = model.fit(input_train, y_train, epochs=10, batch_size=128, validation_split=0.2)

我们继续使用上一节的数据作为网络输入,上面代码运行后,我们再将它的训练结果绘制出来,结果如下:

webp

屏幕快照 2018-09-11 下午4.26.15.png

上一节我们使用SimpleRNN网络层时,网络对校验数据的判断准确率为85%左右,这里我们使用LSTM网络层,网络对校验数据的准确率可以提升到89%,这是因为LSTM比SimpleRNN对网络以期出来过的数据有更好的“记忆”功能,更能将以前处理过的单词与现在处理的单词关联起来。



作者:望月从良
链接:https://www.jianshu.com/p/a51a5baad689


点击查看更多内容
0人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
手记
粉丝
213
获赞与收藏
1001

关注TA,一起探索更多经验知识

同主题相似文章浏览排行榜

风间影月说签约讲师

50篇手记,涉及Java、MySQL、Redis、Spring等方向

进入讨论

Tony Bai 说签约讲师

145篇手记,涉及Go、C、Java、Python等方向

进入讨论
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消