RNNRecurrent Neural Network循环神经网络最好的方式是把它和我之前聊过的N-grams以及Transformer放在一起看成语言模型进化史上的关键中间环节。如果说N-grams是个“记忆力只有7秒的金鱼”只看局部Transformer是个“开了天眼的侦探”全局视野那RNN就是第一个真正拥有了“短期记忆”的普通人。以下是为你准备的深度解析。一、最直观的理解想象你在读一本小说但有一个奇怪的规则你每读完一页就必须合上书然后靠记忆去理解下一页的内容。N-grams他读完第5页后只勉强记住了第5页最后一句话的几个字然后就去读第6页。所以他总是看不懂连贯的情节。RNN他有一个“内部笔记本”。他读每一页时都会把这一页的核心思想总结成一段话写在笔记本上。然后当他读下一页时他会翻开笔记本结合刚才的总结和当前页的新内容去理解故事。这个“内部笔记本”就是RNN最核心的隐藏状态Hidden State。二、RNN的工作原理RNN的工作流程可以用一个非常形象的比喻来解释它像一个传递接力棒的运动员但这个接力棒本身在不断地吸收新的能量。假设我们要处理句子“我在法国长大所以我会说法语。”RNN会一个词一个词地阅读并不断更新它的“接力棒”隐藏状态。起点接力棒是空的状态为0。看到“我”模型把“我”的信息写进接力棒。此时接力棒含有[我]。看到“在”模型看到“在”同时接过接力棒里面含有[我]。它结合两者更新接力棒为[我、在]。看到“法国”接过接力棒([我、在])结合“法国”更新为[我、在、法国]。以此类推...看到“法语”此时接力棒里已经包含了[我、在、法国、长大、所以、我、会、说]。模型看到“法语”这个词同时结合了接力棒里存储的上文信息特别是“法国”它更容易理解此处的“法语”是指“法国语言”而不是“法律语言”。这就是RNN的本质一个具有循环连接的神经网络它通过隐藏状态将过去的信息传递给未来的处理步骤。三、RNN的核心公式虽然RNN有很多数学公式但它的逻辑极其简单当前的新记忆 激活函数( 当前的输入 上一步的记忆 )每一步的输出都基于这个融合了历史和当下的“新记忆”。四、RNN的巅峰与局限RNN在当年是巨大的突破因为它让神经网络第一次有了处理序列数据的能力。但它有一个致命的弱点这个弱点直接导致了Transformer的诞生。特点说明最大的优点可以处理任意长度的序列。它不像N-grams那样窗口固定也不像Transformer早期版本那样受限于最大长度理论上它可以无限长地接下去。最大的痛点长距离遗忘梯度消失/爆炸。回到前面的比喻接力棒在传递过程中如果路线太长最初的信息会逐渐衰减。比如句子是“我在法国长大去了美国上学后来又去英国工作最后回到亚洲所以我法语说得好。”当传到“法语”时接力棒里关于“法国”的能量早就被“美国”“英国”“亚洲”稀释得差不多了。RNN很难建立这种长距离依赖。五、进化版LSTM长短期记忆网络为了解决RNN“记不住长距离信息”的问题科学家发明了LSTM。可以把它理解成一个“升级版的运动员”他不仅有一个接力棒还有一个“选择性读写的大脑”。遗忘门决定要不要把笔记本里太旧的信息比如“美国”忘掉一点。输入门决定新信息比如“法语”值不值得重点记。输出门决定现在该用什么信息来输出答案。LSTM在很长一段时间里都是序列建模的王者直到Transformer的出现。最后小结现在我们把你学过的几个概念串起来做一个终极对比模型阅读方式视野记忆能力计算方式N-grams跳读只看附近几个词无查统计表RNN/LSTM逐行顺序阅读理论上无限长但越远越模糊有但会衰减逐步传递接力棒Transformer一目十行一眼看到全文所有词无损、直接全局检索也正因为如此Transformer的自注意力机制相当于给模型装了一个“全局搜索引擎”。它不再需要像RNN那样通过漫长的接力传递才能联系到“法国”和“法语”而是直接一步到位建立两者之间的联系。