了长短期记忆神经网络。
距今天已经将近二十年了，可以说是很久远了。
虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。
但实际上当初提出长短期记忆神经网络并不是为了文本处理。
当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。
在机器学习中，用基于梯度的学习方法和反向传播训练人工神经网络时。
有时会遇到梯度消失和梯度爆炸的问题。
这两种情况都不是研究人员希望看到的情况。
出现梯度消失或梯度爆炸后，原本的深度学习根本深不起来，只能说是浅度学习。
个别极端情况，别说浅度学习了，连最起码的机器学习都做不到。
总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。
梯度消失和梯度爆炸问题也是一个极其难缠的问题。
和神经网络有关的研究人员在1991年就注意到梯度消失和梯度爆炸现象。
该问题在长短期记忆神经网络出现后得到一定的缓解。
但还是没有彻底解决梯度消失和梯度爆炸问题。
除了利用长短期记忆神经网络之外，其他的几种处理梯度消失和梯度爆炸的问题的方式（比如说多级层次结构、利用更快的硬件、利用其他的激活函数等等。）也各有各的局限性。
总之梯度消失和梯度爆炸问题但还没有被彻底解决。
到今天梯度消失和梯度爆炸问题已然成为了机器学习上空中一朵乌云。
这个问题已然严重制约机器学习向前发展。
心念及此，埃克莱尔·基尔卡加不免有些感慨。
也不知道这个问题什么时候会被什么人彻底解决？？？
埃克莱尔·基尔卡加突然感觉他对LINHUI算法这么较真也没什么必要啊？
诸如梯度消失和梯度爆炸现象这问题都二十多年了还没彻底解决。
不也没什么人着急吗？至少看起来没啥人着急？
自己为什么要为要跟LINHUI这么一个算法较劲呢？
埃克莱尔·基尔卡加突然有些疲乏感。
不过面对兴冲冲的同事，埃克莱尔·基尔卡加还不至于打退堂鼓。
埃克莱尔·基尔卡加：“我现在还不能够肯定LINHUI算法中用的就是长短期记忆神经网络。
只能说LINHUI算法中所采用的神经网络的特征有点类似于长短期记忆神经网络。
至于到底是不是还有待验证。
说起来那些高层跟麻省理工学院自然语言处理文本摘要研究小组那边闹得不欢而散还真是个损失。
据我了解伊芙·卡莉他们在研究抽取式文本摘要算法的时候就用到了循环神经网络了。
只不过他们用的具体是哪种循环神经网络暂时
请收藏：https://m.ruguo.cc
（温馨提示：请关闭畅读或阅读模式，否则内容无法正常显示）