BP神经网络（反向传播神经网络，Backpropagation Neural Network）是当前应用最广泛的多层前馈网络之一。其核心优势在于非线性映射能力，能够处理线性模型无法解决的复杂问题。在模式识别、信号处理、预测分析等众多领域均有广泛应用。本文将系统介绍BP神经网络的算法流程，涵盖网络结构搭建、激活函数选择、训练过程以及权重更新方法，帮助读者全面理解其工作原理。
1. 网络结构
BP神经网络由输入层、隐藏层和输出层构成。每层包含多个神经元节点。输入层节点数由特征维度决定，例如10个特征对应10个节点。输出层节点数取决于预测目标的数量。隐藏层的层数和节点数可根据问题复杂度与数据规模灵活设定，通常1-3层即可满足大多数场景，过多层数容易导致过拟合，反而降低泛化能力。
1.1 输入层
输入层是网络的入口，负责接收外部输入信号。每个神经元对应一个特征，信号由此向下一层传递。
1.2 隐藏层
隐藏层是网络的核心处理单元，对输入信号进行非线性变换，将原始特征转换为更高层次、更具判别力的表示。隐藏层数量越多，网络理论上能捕捉更复杂的模式，但过拟合风险也相应增加。通常1-3层即可覆盖绝大多数应用场景。
1.3 输出层
输出层是网络的最终输出端，提供预测结果。输出神经元数量等于目标维度，例如二分类问题只需一个神经元，多分类问题则常用softmax输出多个概率值。
2. 激活函数
激活函数是神经元的关键组件，没有它，网络仅能进行线性变换，层数再多也无法提升表达能力。激活函数引入非线性，赋予网络强大的拟合能力。常用的激活函数包括以下三种。
2.1 Sigmoid函数
Sigmoid函数公式为f(x) = 1 / (1 + exp(-x))，将输入映射到(0, 1)区间，曲线平滑，常用于二分类输出层。然而其饱和区梯度趋近于零，导致深层网络训练缓慢。
2.2 Tanh函数
Tanh函数是Sigmoid的改进版本，公式为f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))，输出范围为(-1, 1)。与Sigmoid相比，其在0附近导数更大，梯度更明显，因此训练速度通常更快。常用于多分类问题的隐藏层。
2.3 ReLU函数
ReLU（修正线性单元）极为简洁：f(x) = max(0, x)。正半轴线性输出，负半轴输出为零。计算速度快、收敛迅速，是深度学习中的标准激活函数。但需注意“神经元死亡”问题——若某些神经元始终未被激活，其梯度恒为零，导致无法更新。不过在实践中，ReLU仍是大多数场景的首选。
3. 训练过程
BP神经网络的训练主要分为两个阶段：前向传播与反向传播。前向传播用于计算预测值，反向传播则根据误差反向调整权重。
3.1 前向传播
前向传播就是从输入层到输出层，信号依次计算。具体步骤如下：
- 将输入数据馈送到输入层，每个神经元对应一个特征值。
- 对于每一层的每个神经元，首先计算加权和：net = w · x + b（w为权重矩阵，x为输入向量，b为偏置）。
- 将加权和输入激活函数，得到该层神经元的输出值。
- 将当前层的输出作为下一层的输入，重复步骤2-3，直至输出层生成最终预测结果。
整个前向传播过程无反馈机制，类似于流水线作业：输入原始数据，经过各层处理，最终输出预测结果。
3.2 反向传播
反向传播是BP网络的精髓——它将预测误差从输出层逐层传回输入层，沿途计算每个权重应调整的幅度。具体步骤：
- 首先计算输出层误差：E = 预测值 - 真实值，该差值即为直接损失。
- 利用激活函数的导数对误差进行调制，得到输出层梯度：dE = E × f'(net)，其中f'(net)是激活函数在net处的导数。
- 从输出层向输入层反向遍历各层：
- 计算当前层的误差信号：delta = dE × w^T（w^T为上一层权重的转置，用于将误差回传）。
- 计算当前层的权重梯度：dW = 当前层输入 x × delta。
- 最后更新权重：W = W - α × dW，α为学习率，控制每次更新的步长。
梯度下降过程会反复迭代，直至损失函数收敛到可接受范围。需注意，学习率过大可能导致网络震荡而不收敛，过小则训练速度极慢。实际应用中常采用自适应学习率优化器（如Adam）以省去手动调参的繁琐。