NLP-AHU-015本文配图LSTM部分搬运了Understanding LSTM Networks -- colahs blog循环神经网络是深度学习领域中处理序列数据的核心架构通过引入循环连接机制使网络能够处理具有时间依赖关系的序列数据。然而传统RNN在长序列训练中面临梯度消失和梯度爆炸问题限制了其对长期依赖关系的建模能力。LSTM通过引入门控机制和细胞状态有效解决了这一问题。BiLSTM则进一步通过双向信息流捕获序列中每个时刻的上下文信息。本文将对这三种主流循环神经网络的算法原理与应用场景做简单介绍帮助读者理解这些模型的设计思想。目录一、RNN的基本思想RNN的核心数学表达式RNN基本结构RNN的不足二、LSTM解决梯度消失问题LSTM的核心数学表达式LSTM结构示意LSTM为何能减缓梯度消失LSTM的优势与不足三、BiLSTM连接过去与未来的信息BiLSTM的数学表达BiLSTM结构示意BiLSTM的优势与不足四、小结一、RNN的基本思想现实生活的大量数据是有前后关系的语音是时间上的声音序列、文本是单词的序列、视频是图像在时间上的序列。这些数据中的每一个元素都不是独立存在的自然在处理这些数据时也不能将其割裂开来。例如在自然语言处理中一个词的语义往往依赖于它所在的上下文语境不能脱离语境谈语义。RNN是一种具有记忆能力的神经网络能够处理序列数据。它在每个时间步使用相同的权重矩阵处理输入并将上一时刻的隐藏状态作为当前时刻的额外输入。这种设计使得网络能够维护一个“记忆”向量让RNN能够捕捉序列数据中的时序依赖关系理论上可以编码到当前时刻为止的所有历史信息。RNN的核心数学表达式隐藏状态更新输出计算其中时间步t的输入向量时间步t的隐藏状态向量时间步t的输出向量隐藏层到隐藏层的权重矩阵输入层到隐藏层的权重矩阵隐藏层到输出层的权重矩阵、隐藏层和输出层的偏置项双曲正切激活函数将输出值约束在[-1, 1]之间RNN的隐藏状态既是当前时间步的输出也会作为下一个时间步的输入这种循环连接机制是RNN处理序列数据的关键。RNN基本结构RNN的基本结构包括输入层、隐藏层和输出层隐藏层具有自循环连接。这种结构使得信息可以在时间步之间传递从而捕捉序列中的时序依赖关系。下图左侧展示了一个RNN单元右侧展示了按时间步展开后的结果。一个RNN单元在时间步t时接收两个输入当前时刻的输入向量和上一时刻的隐藏状态向量。单元输出当前时刻的隐藏状态​并可选择性地产生输出。将RNN按时间步展开可以得到一个深层的、权重共享的前馈网络。对于一个长度为 T 的序列展开后的网络包含 T 个相同的单元每个单元在第 t 层的输入来自第 t 个时间步的原始输入和第 t−1 层的隐藏状态输出。RNN的不足RNN的训练主要通过时间反向传播算法(Backpropagation Through Time, BPTT)实现。BPTT将RNN展开为一个多层前馈网络按时间步依次处理序列中的每个输入然后应用标准的反向传播算法计算梯度。然而RNN在训练过程中面临两个主要挑战梯度消失问题在反向传播过程中梯度会随着时间步的增加而指数级衰减。当序列较长时早期时间步的梯度几乎消失为零导致模型难以学习长期依赖关系。例如在处理超过20个时间步的序列时RNN的梯度通常会衰减到几乎无法有效更新权重的程度。梯度爆炸问题与梯度消失相反梯度可能随着时间步的增加而指数级增长导致权重更新不稳定甚至出现数值溢出。这种情况通常发生在权重矩阵的最大特征值时使得连乘项呈指数级增长。这些梯度问题严重限制了RNN在处理长序列数据时的能力为了解决这些问题人们提出了改进架构。二、LSTM解决梯度消失问题长短期记忆网络是由Sepp Hochreiter和Jürgen Schmidhuber于1997年提出的旨在解决RNN在处理长序列时的梯度消失问题。LSTM的设计灵感来源于对循环神经网络中信息流动的控制思想通过引入门控机制使网络能够选择性地记住或遗忘信息从而有效解决长距离依赖建模问题。LSTM的核心创新在于引入了细胞状态概念它像一条贯穿所有时间步的信息高速公路允许重要信息在不被修改的情况下长时间保持。同时LSTM通过三个门遗忘门、输入门、输出门对细胞状态的信息流进行精细控制从而解决梯度消失问题。这些设计使得LSTM能够在数百甚至数千个时间步上保持信息同时选择性地遗忘不重要的历史信息。LSTM的核心数学表达式遗忘门(Forget Gate)决定前一时刻的细胞状态中有多少信息需要被保留其中表示Sigmoid激活函数输出范围在[0,1]之间0表示完全遗忘1表示完全保留。输入门(Input Gate)和候选状态(Candidate State)决定当前输入中有多少新信息需要被添加到细胞状态中其中表示输入门的输出表示候选状态用于存储可能被写入细胞状态的新信息。细胞状态更新结合遗忘门和输入门的输出更新当前时刻的细胞状态其中表示逐元素乘法(哈达玛乘积)表示时间步t的细胞状态。这个加法操作是LSTM缓解梯度消失的关键当​ 接近1时梯度可以几乎无衰减地沿细胞状态反向传播。输出门到现在状态再到输出决定当前细胞状态中有多少信息需要被输出其中表示输出门的输出表示时间步t的隐藏状态。LSTM结构介绍LSTM长短期记忆网络通过精巧的“门控”结构让信息有选择地流入、流出和停留在记忆单元中。整个工作流程可以分解为四个相互依赖的步骤遗忘、输入、更新、输出。LSTM 的第一步是要决定从单元状态长期记忆中丢弃哪些不再需要的信息。这一步由“遗忘门”的 Sigmoid 网络层控制。该层以上一时刻的隐藏状态和当前时刻的输入作为输入输出一个介于 0 和 1 之间的向量​。其中 1 代表“完全保留”0 代表“完全丢弃”。第二步LSTM 需要决定将哪些新信息存入单元状态。这包含两个协同工作的部分输入门一个 Sigmoid 层决定哪些位置的值需要更新即“更新权重”。候选细胞状态​一个 Tanh 层生成全新的候选值向量表示可能被加入的新信息。之后LSTM 会将这两部分相乘逐元素得到“经过筛选后的待添加信息”。在语言模型中这一步的作用是提取新主语的性别信息并决定是否将其写入长期记忆。现在LSTM 将旧的细胞状态 ​更新为新的细胞状态​这个步骤真正实现了“忘记旧主语性别 记住新主语性别”的原子操作。遗忘部分​ —— 对旧记忆进行选择性遗忘新增部分—— 将筛选后的候选信息加入最后LSTM 需要决定当前时刻的输出。这个输出应该基于更新后的细胞状态​但会经过一个过滤版本以避免将全部记忆内容不加选择地暴露给下一层。具体操作分为两步输出门​一个 Sigmoid 层决定细胞状态中的哪些部分可以输出。将细胞状态通过 ⁡tanh 函数压缩到 -1 到 1 之间再与输出门逐元素相乘得到最终的隐藏状态。在语言模型中当模型要预测下一个词比如代词“他”或“她”时输出门会控制性别信息是否真的被用于当前预测。如果模型认为当前语境不需要输出代词输出门可以抑制这部分信息。LSTM为何能减缓梯度消失LSTM缓解梯度消失的关键在于其“常数误差传送带”Constant Error Carousel, CEC设计。在原始LSTM设计中细胞状态的更新是线性的没有激活函数且遗忘门和输入门被设计为竞争关系。现代LSTM虽然引入了遗忘门允许重置细胞状态但基本的加法更新结构得以保留。从数学上分析考虑细胞状态梯度传播的雅可比矩阵虽然存在多个偏导数项但当遗忘门​ 接近1且其他项较小时雅可比矩阵近似为单位矩阵梯度可以稳定传播。在实际训练中LSTM确实能够学习将遗忘门设定为接近1的值以保留长期信息或在必要时设定为接近0以丢弃无关信息。相比之下传统RNN的梯度传播因子​在每个时间步都面临激活函数导数通常小于1和权重矩阵的乘积难以避免梯度消失。LSTM的优势与不足LSTM的核心优势在于能够有效缓解梯度消失问题。通过遗忘门、输入门和输出门的协同控制LSTM可以选择性地保留或丢弃历史信息从而捕捉长达数百个时间步的长期依赖关系。这使得LSTM在机器翻译、语音识别、时间序列预测等需要建模远距离上下文的任务中显著优于普通RNN并且在处理序列长度不固定、存在复杂时序模式的数据时表现出较高的稳定性和准确率。然而LSTM也存在明显的不足。首先其结构相对复杂每个时间步需要计算多个门控向量和候选状态训练和推理的计算开销较大对硬件资源要求更高。其次尽管门控机制缓解了梯度消失但并未完全消除梯度爆炸的风险仍需配合梯度裁剪等技巧当序列长度超过数百步时LSTM对早期信息的记忆能力仍会显著下降。此外LSTM的串行计算特性使其难以充分利用并行计算能力在处理超长序列或实时性要求较高的场景时效率较低。三、BiLSTM连接过去与未来的信息标准RNN和LSTM只能利用当前时刻之前的历史信息因为信息流是从过去向未来单向传播的。然而在许多序列建模任务中当前时刻的输出可能同时依赖于过去和未来的上下文。以命名实体识别为例判断单词“Apple”是否是一个公司名称不仅依赖于它前面的单词如“I work at”也依赖于它后面的单词如“Inc.”。单向LSTM只能看到前面的信息可能将“Apple”误判为水果。BiLSTM通过同时运行两个LSTM网络来解决这一问题一个按照序列的正向顺序处理数据另一个按照序列的反向顺序处理数据。在每个时间步BiLSTM将两个LSTM网络的隐藏状态进行拼接或其他融合操作得到该时间步的最终隐藏状态表示。BiLSTM的数学表达BiLSTM的数学表达基于两个独立的LSTM网络正向LSTM和反向LSTM。正向LSTM计算其中表示时间步t的正向隐藏状态。反向LSTM计算其中表示时间步t的反向隐藏状态。隐藏状态融合最终输出BiLSTM结构介绍给定输入序列前向LSTM按顺序计算隐藏状态序列后向LSTM按逆序计算隐藏状态序列在时间步 t最终的输出隐藏状态由前向和后向状态拼接而成BiLSTM的优势与不足BiLSTM的核心优势在于能够同时捕捉序列中每个时间步的前向和后向上下文信息相比于单向LSTMBiLSTM显著提升了对上下文依赖的建模能力在序列标注、机器翻译、语音识别等基准测试中往往取得更优的性能尤其是当整个输入序列可预先获得时能够充分利用双向信息。但由于需要同时运行两个独立的LSTM网络一个正向、一个反向其参数量和计算量约为单向LSTM的两倍训练和推理时间更长对硬件资源要求更高。更重要的是BiLSTM在处理序列时必须拥有完整的未来信息即需要知道当前时间步之后的所有输入才能计算反向隐藏状态因此无法应用于在线或流式任务如实时语音识别、实时翻译等。此外BiLSTM仍然继承了LSTM本身梯度爆炸的风险。四、小结传统RNN通过循环连接处理序列数据其结构简洁优雅但梯度消失和梯度爆炸限制了其在长序列上的应用。LSTM通过引入细胞状态和三个门控单元遗忘门、输入门、输出门缓解了梯度消失的问题使得长期依赖学习成为可能。BiLSTM进一步扩展了LSTM通过前向和后向两个LSTM捕获每个时间步的完整上下文信息在序列标注等任务中表现卓越。参考资料Hochreiter, S., Schmidhuber, J. (1997). Long short-term memory.Neural Computation, 9(8), 1735-1780.Graves, A., Schmidhuber, J. (2005).Framewise phoneme classification with bidirectional LSTM and other neural network architectures.Neural Networks, 18(5–6), 602–610.循环神经网络 (Recurrent Neural Network, RNN)(27 封私信 / 80 条消息) 深入理解RNN与LSTM - 知乎(27 封私信 / 80 条消息) LSTM思想解析—论文精读Long Short-Term Memery - 知乎RNN vs LSTM vs GRU全面比较分析——InovaqoUnderstanding BiLSTM: Bidirectional Long Short-Term Memory Networks by G Gnaneshwar on Prezi双向长短期记忆网络BiLSTM_双向长短时记忆网络-CSDN博客Understanding LSTM Networks -- colahs blog