卷积神经网络的平移等变性:从原理到证明
在深度学习领域,卷积神经网络(CNN)的平移等变性是公认的重要特性,但许多人对其背后的数学原理并不清楚。本文将从基础概念入手,系统阐述平移等变性的定义、重要性,并给出严格的数学推导,为后续研究CNN的等变性与不变性设计奠定扎实基础。
一、为什么需要关注等变性?
在机器学习中,我们通常追求模型的灵活性,希望它能学习任意复杂函数。通用逼近定理表明,只要参数足够多,神经网络可以逼近任何连续函数。然而,完全灵活也会带来问题:当训练数据有限时,存在大量“虚假”函数与真实函数在训练集上表现一致,导致模型过拟合、泛化能力差。
对灵活性施加合理约束是解决泛化问题的关键。卷积神经网络就是成功典范:与传统的MLP全连接网络相比,CNN通过卷积操作牺牲了部分灵活性,但获得了图像数据的平移等变性,这一特性使CNN在图像处理时能充分利用空间结构,显著提升泛化性能。
二、什么是平移等变性?
简单来说,等变性映射是指:当输入发生某种变换时,输出也按照相同规则发生相应变换。平移等变性则是等变性在平移操作下的具体体现。
具体而言,如果输入图像被平移了一定距离(例如向右移动若干像素),那么经过平移等变映射后得到的特征图,也会被平移相同的距离。如下图所示:

更直观地看下面的例子:

输入图像显示数字“4”,向右平移后得到另一个输入图像。特征图 A 和 特征图 B 分别是通过平移等变映射计算得到的。在这种情况下,将平移后的输入 图像 B 输入模型得到的特征图,等价于先将原始输入 图像 A 的特征图做相同的平移操作。
