循环神经网络（Recurrent Neural Network，简称RNN）是一种具备短期记忆能力的深度学习模型，专门用于处理时间序列、文本序列等具有先后顺序的数据。与一次性计算就输出结果的传统前馈网络不同，RNN通过“循环”连接结构让信息在时间步之间持续传递，从而有效捕捉序列中的动态规律与依赖关系。接下来，我们将从基本结构到训练过程，逐步拆解RNN的工作原理。
一、RNN的基本结构
1.1 神经元模型
RNN的基础单元是神经元。每个神经元接收当前时刻的输入信号，并通过激活函数处理后产生输出。其数学模型可表示为：
y_t = f(W * x_t + U * h_(t-1) + b)其中，y_t 表示第t个时间步的输出，x_t 为当前输入，h_(t-1) 是上一个时间步的隐状态（即记忆），W、U、b 分别对应输入权重矩阵、隐状态权重矩阵和偏置项，f 为激活函数。
1.2 循环结构
RNN的核心特征在于“循环”——神经元的输出不仅依赖当前输入，还依赖于上一个时刻的隐状态。循环结构用以下公式描述：
h_t = g(W_h * h_(t-1) + W_x * x_t + b_h)这里，h_t 是第t步的隐状态，W_h、W_x、b_h 分别代表隐状态权重、输入权重和偏置，g 为激活函数。这个公式正是RNN能够“记住”短期信息的关键所在。
1.3 激活函数
激活函数为神经元引入非线性，使网络有能力学习复杂模式。常见的有：
- Sigmoid：
f(x) = 1 / (1 + exp(-x))，输出范围(0,1)，适合概率输出场景。 - Tanh：
f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))，输出范围(-1,1)，在RNN中更常用（因梯度更稳定）。 - ReLU：
f(x) = max(0, x)，能缓解梯度消失，但直接用于RNN可能引发梯度爆炸。
小提示：在标准RNN中，Tanh是最常用的选择，因为它能平衡梯度流动与表示能力。
1.4 损失函数
RNN的损失函数根据任务类型选择：
- 回归问题（如预测数值）：常用均方误差（MSE）。
- 分类问题（如文本情感判断）：常用交叉熵（CE）。
损失函数用于衡量预测结果与真实值之间的差距，是后续反向传播更新参数的依据。
二、RNN的训练过程
2.1 前向传播
前向传播是将输入序列按时间步依次送入网络，逐步计算隐状态和输出。具体步骤如下：
- 初始化隐状态 h_0（通常为零向量或小随机向量）。
- 对于每个时间步 x_t，计算当前隐状态 h_t 和输出 y_t。
- 将 h_t 作为下一时间步的输入，重复直至序列结束。
想象你在读一句话：每读一个字，大脑会结合前一个字的信息来理解当前字，这正是RNN前向传播的直观模拟。
2.2 反向传播
前向传播得到输出后，需要计算梯度来更新参数。反向传播的步骤：
- 计算损失函数 L 关于每个输出 y_t 的梯度 ∂L/∂y_t。
- 利用链式法则，从最后一个时间步向前，依次计算损失关于隐状态 h_t、权重 W、偏置 b 的梯度。
- 更新参数：
W = W - α * ∂L/∂W，b = b - α * ∂L/∂b，其中 α 是学习率。
注意：RNN的反向传播会在时间轴上展开，时间步越多，计算链越长，这也是梯度问题产生的原因。
2.3 梯度消失和梯度爆炸问题
这是RNN训练中最常见的两大难题：
- 梯度消失：梯度在反向传播中不断乘以权重矩阵（小于1），导致早期时间步的梯度几乎为零，网络无法学习长期依赖（例如预测句子结尾时，忘记主语）。
- 梯度爆炸：梯度乘以大于1的权重，指数级增长，导致参数更新过大，训练不稳定甚至崩溃。
常见的解决方法：
- 梯度裁剪：当梯度范数超过阈值时，将其缩回到合理范围。
- 使用门控单元：如 GRU（门控循环单元） 或 LSTM（长短时记忆网络），通过门结构控制信息流动，有效缓解梯度问题。
常见问题（FAQ）
问题1：RNN和传统神经网络（如全连接网络）有什么本质区别？
答案：传统神经网络假设输入之间独立，没有时间先后顺序；而RNN通过循环结构将前一步的状态传递到下一步，专门处理序列数据。简单说，传统网络是“一锤子买卖”，RNN能“回顾历史”。
问题2：为什么RNN无法处理长序列？
答案：因为梯度消失或爆炸。在标准RNN中，反向传播时梯度随时间步指数级衰减或增长，导致远距离信息难以传递。LSTM和GRU通过门控机制让梯度可以“直通”，从而捕捉长距离依赖。
问题3：小批量训练时，序列长度不同怎么办？
答案：通常使用padding（填充）将同批次序列补齐到相同长度，并配合mask（掩码）使填充位置不参与损失计算。
循环神经网络是序列建模的基石，理解它的结构、激活函数、损失函数以及训练中的梯度问题，能帮你更顺利地进阶到LSTM、GRU等更强大的变体。如果你在实际应用中遇到“记不住”或“训练爆炸”的情况，不妨先从梯度裁剪和门控单元入手。