BP神经网络（反向传播神经网络）是机器学习乃至深度学习领域中最基础且应用最广泛的模型之一。其核心机制非常直观：通过不断调整网络内部的权重和偏置参数，使得模型的预测输出逐步逼近真实值。本文将从基本原理、网络结构、学习机制以及预测值的具体计算过程入手，进行系统化的拆解与讲解。
1. BP神经网络的基本原理
简而言之，BP神经网络是一种多层前馈结构，包含输入层、隐藏层和输出层。每一层由若干神经元组成，神经元之间通过权重和偏置相连接——这些参数正是网络需要学习和优化的核心对象。
其工作流程主要分为两个阶段：第一阶段，输入数据从输入层进入，经过各层的加权求和与激活函数变换，最终在输出层得到预测值；第二阶段，将预测值与真实标签进行对比，计算误差，然后将该误差反向传播回网络，借助梯度下降法逐层更新权重和偏置。如此循环迭代，直到误差降低到可接受的范围。一句话总结：正向传播计算输出，反向传播优化参数。
2. BP神经网络的结构
网络结构由三个基本部分构成，每个部分承担着明确的职责。
2.1 输入层
输入层是网络的第一层，负责接收原始特征数据。该层的神经元数量等于输入数据的特征维度，并且这一层不设置激活函数——它仅执行数据传递，不进行任何加工，直接将原始数据原样送入下一层。
2.2 隐藏层
隐藏层是网络的“特征加工与抽象提取”模块，可以设置一层或多层。隐藏层神经元的数量没有固定公式，通常根据问题的复杂程度及数据量来确定。每个隐藏层神经元都配备激活函数（如ReLU、Sigmoid等），正是这些非线性变换赋予了网络学习复杂模式和映射关系的能力。
2.3 输出层
输出层负责输出最终的预测结果。其神经元数量取决于任务类型：回归任务通常只有一个输出节点，分类任务则与类别数一致。输出层也可选择激活函数，例如线性激活用于回归，Sigmoid用于二分类，Softmax用于多分类。
3. BP神经网络的学习算法
整个学习过程围绕两个核心环节展开：前向传播与反向传播。
3.1 前向传播
前向传播是指将输入数据沿着网络结构逐层向前推进，直至得到输出。具体步骤如下：
- 初始化网络参数——权重和偏置通常设置为很小的随机数，以避免对称性问题。
- 输入数据进入输入层。
- 在每一层，将输入与对应权重相乘，再加上偏置，得到加权和。
- 加权和通过激活函数进行非线性变换，得到该层的输出。
- 输出层的最终结果即为当前参数下的预测值。
3.2 反向传播
反向传播是BP算法的核心——它负责将误差“反向传递”并据此更新参数。流程如下：
- 计算误差：使用预测值与真实值计算损失函数（最常用均方误差MSE）。
- 计算梯度：根据损失函数对网络中每个权重和偏置求偏导（即梯度）。
- 更新参数：用梯度乘以学习率，从当前参数中减去，使参数沿着减小误差的方向移动。
- 重复迭代：前向→反向→更新，循环进行，直到达到预设的迭代次数或误差阈值。
4. BP神经网络预测值的计算方法
在实际应用中，要获得可靠的预测值，需要经历完整的训练与预测流程。下面拆解为六个关键步骤。
4.1 数据预处理
原始数据直接输入网络往往效果不佳。通常需要进行归一化（将数据缩放到0~1或-1~1之间）、去中心化（减去均值）等操作，使各特征处于相近的量级，从而加速模型收敛并提升稳定性。
4.2 初始化网络参数
开始训练前，为每个权重和偏置赋予一个较小的随机值。为什么不能全部设为0？因为那样所有神经元的输出完全相同，梯度也一致，网络将丧失学习能力（对称性失效）。
4.3 前向传播
将预处理后的输入数据送入网络，经过各层的加权求和与激活函数，得到当前参数下的预测值。
4.4 反向传播
计算预测值与真实值之间的误差，然后按照3.2节的步骤计算梯度并更新参数。
4.5 迭代训练
重复前向传播和反向传播的过程，直到模型收敛。收敛的判断依据可以是损失函数不再明显下降，或达到预设的训练轮数。
4.6 预测新数据
训练结束后，网络参数被固定下来。此时只需对新输入数据执行一次前向传播，无需再进行反向传播和参数更新，得到的输出即为预测值。这一步速度极快，也是模型投入实际应用时的最终形态。