在自然语言处理（NLP）领域，我们时刻面临着处理序列数据的核心挑战。无论是理解句子的结构、分析文本的情感，还是实现语言的翻译，都需要模型能够捕捉词语之间依时序产生的复杂依赖关系。传统的神经网络结构在处理这种序列依赖时显得力不从心，而循环神经网络（RNN） 曾被视为解决这一问题的希望之光。然而，RNN 在实践中遭遇了严峻的挑战——梯度消失与梯度爆炸问题，使其难以有效学习长距离依赖。长短期记忆网络（Long Short-Term Memory, LSTM） 应运而生，成为解决这一瓶颈的革命性方案，极大地推动了序列建模的发展。

一、RNN的困境：梯度消失与长期依赖难题

RNN 的核心思想是引入循环连接，使网络具备一定的记忆能力。其结构可抽象为以下公式：
h_t = f(W_xh * x_t + W_hh * h_{t-1} + b_h)