机器视觉：从感知到智能，技术演进路线

视觉这东西，可以说是人类最敏感、最直接的感知方式了——不需要触碰，光凭眼睛就能获取周围环境的大量信息。但生物视觉系统实在太复杂了，目前还没有哪台机器能完全复制这种能力。当下机器视觉的目标很务实：在可控环境中构建一个能处理特定任务的系统。而工业环境的视觉条件可控、任务明确，所以机器视觉目前最成熟的应用场景也集中在工业领域。

人类视觉的机制是这样的：视网膜上的椎体和杆状细胞捕捉光源，神经纤维把信号传送到大脑视觉皮层，最终形成我们看到的图像。机器视觉则完全不同——它的输入是图像，输出是对这些图像的感知描述。这些描述与图像中的物体或场景紧密相关，并能帮助机器完成特定任务，指导机器人系统与环境交互。

那么，迄今为止主流的机器视觉技术都有哪些？

01 中流砥柱——卷积神经网络

卷积神经网络（CNN）是计算机视觉中使用最普遍的模型结构。它通过卷积核提取相邻像素间的特征模式，而且参数数量不会随图片尺寸变大而膨胀。典型的CNN结构是：多层卷积和池化层组合作用于输入图片，网络末端通常接入全连接层，ReLU激活函数加在卷积或全连接层的输出上，同时用Dropout防止过拟合。

自2012年AlexNet在ImageNet夺冠以来，CNN逐渐取代传统算法，成为处理计算机视觉任务的核心。

这些年，研究人员从多个方向对CNN结构进行了大幅度改进：提升特征提取能力、改进回传梯度更新效果、缩短训练时间、可视化内部结构、减少参数量、模型轻量化、自动设计网络结构等等。由此诞生了一系列经典模型：AlexNet、ZFNet、VGG、NIN、GoogLeNet和Inception系列、ResNet、WRN、DenseNet，以及轻量化方向的MobileNet系列、ShuffleNet系列、SqueezeNet、Xception等。

卷积网络示意图

经典模型：AlexNet

AlexNet是第一个深度神经网络，几个标志性特点值得记住：

• 使用ReLU作为激活函数。
• 在全连接层使用Dropout避免过拟合——不过后来BN（批归一化）出现后，Dropout基本被替代了。
• 因为当时GPU显存太小，用了两个GPU，做法是在通道上分组。
• 引入局部响应归一化（LRN）。背后的生物学灵感是：被激活的神经元会抑制周围的神经元。目的是让局部响应值大的变得相对更大，抑制其他响应值小的卷积核。比如某个特征在一个卷积核中响应值大，那么相邻卷积核的响应就会被抑制，这样一来卷积核之间的相关性会变小。LRN结合ReLU，让模型性能提升了不到两个百分点。
• 使用重叠池化。作者认为重叠池化能提升特征的丰富性，而且相对更难过拟合。

集大成之作：ResNet

一般来说，网络越深越宽，特征提取能力越强。但当网络深到一定程度后，继续增加层数反而会导致准确率下降、收敛变慢。ResNet通过增加残差连接（shortcut），让信息能从一层更顺畅地流到下一层，有效缓解了退化问题。类似的思路还有FractalNets（重复组合不同卷积块数量的并行层序列，增加名义深度却保持短路径）、Stochastic depth、Highway Networks等。这些模型共享一个特征：缩短前面层与后面层的路径，核心目的都是增加不同层之间的信息流动。

02 后起之秀——Transformers

Transformer是一种自注意力（self-attention）模型架构，2017年之后在NLP领域大放异彩，尤其在序列到序列任务（机器翻译、文本生成）上。2020年，谷歌提出纯Transformer结构的ViT，在ImageNet分类任务上取得了和CNN相当的性能。随后大量ViT衍生架构也在ImageNet上频频刷新记录。

Transformer相比CNN的优势在于：归纳偏置更少、先验知识更少，因此可以看作不同学习任务的通用计算原语，参数效率和性能增益可与CNN匹敌。但缺点也很明显——预训练期间对大数据机制的依赖性更强，因为Transformer没有CNN那种明确的归纳先验。最近出现了一个新趋势：当self-attention与CNN结合时，会形成强大的基线（如BoTNet）。

Vision Transformer（ViT）将纯Transformer架构直接应用到一系列图像块上进行分类，取得了优异结果。在很多图像分类任务上，它甚至超越了最先进的卷积网络，同时所需的预训练计算资源大幅减少。

DETR是第一个成功将Transformer作为主要构建块的目标检测框架。它用更简单、更灵活的pipeline，达到了此前高度优化的Faster R-CNN的性能。

Transformer的变体是目前的研究热点，主要分以下几类：1）模型轻量化；2）加强跨模块连接；3）自适应计算时间；4）引入分而治之策略；5）循环Transformers；6）等级化Transformer。

03 欺骗机器的眼睛——对抗性示例

最近引起研究界注意的一个问题是：这些视觉系统对对抗样本的敏感性。对抗样本是一种带噪声的图像，旨在欺骗系统做出错误预测。要想在现实世界中部署这些系统，就必须能检测出这类样本。为此，近年来的工作探索了通过在训练过程中包含对抗性示例来增强系统鲁棒性的可能性。

现阶段对模型攻击的分类

主要分为两大类：攻击训练阶段和攻击推理阶段。

训练阶段的攻击：主要方法是对模型参数施加微小扰动，导致模型性能和预期产生偏差。例如直接替换训练数据的标签，让数据样本与标签不对应，最终训练结果必然偏离预期；或者通过在线方式获得训练数据输入权，操纵恶意数据来扰动在线训练过程，最终产出脱离预期。

推理阶段的攻击：模型训练完成后，可以把它看作一个盒子。如果这个盒子对我们透明，就是“白盒”模型；反之就是“黑盒”。白盒攻击需要知道所有模型参数，实际操作中不太现实，但存在可能性，因此需要这种假设。黑盒攻击更符合现实场景：通过输入和输出猜测模型内部结构；加入稍大扰动进行攻击；构建影子模型进行关系人攻击；抽取模型训练的敏感数据；模型逆向参数等。

对抗攻击的防御机制

抵御对抗样本攻击，主要是基于附加信息引入辅助块模型（AuxBlocks）进行额外输出，作为一种自集成防御机制。尤其在面对黑盒攻击和白盒攻击时效果良好。此外，防御性蒸馏也能起到一定作用——它把训练好的模型迁移到结构更简单的网络中，从而达到防御对抗攻击的效果。

对抗学习的应用举例

1）自动驾驶；2）金融欺诈。

自动驾驶是未来智能交通的方向，但在安全性得到完全检验之前，人们还难以信任这种复杂技术。许多车企和科技公司已经做了大量实验，但对抗样本技术对自动驾驶仍是巨大挑战。几个攻击实例：对抗攻击下，图片中的行人会在模型面前“隐身”；对抗样本让模型“无视”路障；利用AI对抗样本生成特定图像进行干扰时，特斯拉的Autopilot系统输出“错误”识别结果，导致车辆雨刷启动；在道路特定位置贴上若干对抗样本贴纸，可以让自动驾驶模式的汽车并入反向车道；在Autopilot系统中，通过游戏手柄就能控制车辆行驶方向；对抗样本还能让行人对于模型“隐身”。

04 自学也能成才——自监督学习

深度学习需要干净的标记数据，但这对很多应用来说很难获得。人工标注大量数据耗时又昂贵，而且现实世界中的数据分布一直在变化，模型必须不断根据新数据重新训练。自监督方法通过使用大量原始未标记数据来训练模型，解决了其中一些挑战。这时的监督信号来自数据本身（不是人工注释），目标是完成一个间接任务。间接任务通常是启发式的（比如旋转预测），输入和输出都来自未标记数据。定义间接任务的目标是让模型学会相关特征，之后这些特征可用于下游任务（通常有少量标注可用）。

自监督学习是一种数据高效的学习范式。监督学习方法教会模型擅长特定任务，而自监督学习允许学习不专门针对某个特定任务的一般表示，这种表示为各种下游任务封装了更丰富的统计信息。在所有自监督方法中，使用对比学习可以进一步提升提取特征的质量。自监督学习的数据高效特性使其特别适合迁移学习应用。

目前自监督学习的两个分支

一个分支是用于解决特定任务的自监督学习，比如场景去遮挡、自监督的深度估计、光流估计、图像关联点匹配等。另一个分支用于表征学习。有监督的表征学习典型例子是ImageNet分类，而无监督表征学习中最重要的方法就是自监督学习。

自监督学习方法依赖数据的空间和语义结构。对图像来说，空间结构学习极其重要，因此自监督学习在计算机视觉领域应用广泛。一种做法是将旋转、拼接和着色等技术作为从图像中学习表征的前置任务。比如着色任务：输入灰度照片，生成彩色版本。另一种广泛使用的方法是放置图像块。Doersch等人的工作提供了一个大型未标记图像数据集，从中提取随机图像块对，然后用卷积神经网络预测第二个图像块相对于第一个的位置。还有修复、判断分类错误的图像等其他方法。

结语

自2012年AlexNet问世这十年来，机器视觉领域的技术可以说是日新月异。机器视觉在很多领域逐渐接近甚至超越人类的眼睛。随着技术不断进步，机器视觉一定会变得更加强大——无论是安全防护、自动驾驶、缺陷检测还是目标识别，相信它会带给我们更多惊喜。