集成电路中的单个元件究竟能小到何等程度？答案已逼近原子级。要在指甲盖大小的硅片上容纳数十亿个晶体管，晶圆表面必须比手术室更为洁净，同时前一层电路与当前层的对准精度不能有丝毫偏差——否则，高密度结构将瞬间崩溃。
为维持稳定，清洗工序不可或缺：既要清除污染物，也要去除上一道工序的残留物。随后，自动缺陷分类（ADC）技术登场，它借助扫描电子显微镜图像来识别并标记晶圆表面的缺陷。然而，现有ADC系统的分类表现始终不尽如人意——一旦能够精准分类，找到制造问题的根源便水到渠成。
机器学习技术早已被证明是处理此类分类问题的得力工具。本文介绍的方法基于卷积神经网络的双重特征提取：首先利用Radon拉冬变换进行第一轮特征提取，再将结果输入卷积层执行第二轮特征提取。在真实数据集上的实验结果令人瞩目——缺陷模式识别准确率达到了98.5%。特征提取的有效性得到了充分验证。
在集成电路制造中，晶圆图（Wafer Map）上显示的缺陷图案是工程师追溯缺陷原因的关键线索，直接关系到良率提升。因此，分析晶圆图缺陷的根本原因，对于提高良率、最大化合格芯片数量至关重要。但传统分析方法既缓慢又不够精确——人工方法的准确率甚至不足45%。
近年来，众多研究聚焦于晶圆缺陷模式识别。有些研究采用决策树和神经网络对晶圆级芯片级封装图像进行缺陷分类；有些则利用无监督学习的神经网络构建晶圆图聚类，再根据特定故障模式对簇进行标记，晶圆图则依据与簇的接近程度来归类。这种方法的优势在于，能够引入新的故障模式，识别那些表现未知故障模式的晶圆图。
由于晶圆图可直接转换为图像，故障模式识别天然适合深度学习——这种强大的监督学习技术无需手工设计特征，分类精度极高，尤其在图像分类任务上表现突出。一种基于新型人工神经网络架构的方案，利用卷积神经网络进行精确的光刻热点检测，还被应用于缺陷模式分类和晶圆图检索。实验证明，仅使用合成数据训练网络，就能以高精度对真实晶圆图进行分类。采用CNN结合极端梯度提升技术对ADI（显影后检查）缺陷进行分类，测试集总体分类精度分别达到了99.2%和98.1%。这些结果充分证明了深度学习在半导体晶圆缺陷模式识别领域的成功应用。
方法
本方法有三点贡献。第一，只需具备包含和不包含目标故障图案的晶圆图即可进行识别，无需手动设计故障图案的特征。第二，基于双重特征提取实现了高识别精度：先通过Radon拉冬变换进行第一轮特征提取，再输入卷积层执行第二轮特征提取，每一层都能学习到丰富的特征——这些特征还能作为图像检索的优质描述符。第三，该方法可扩展至多类分类，同时识别多种故障模式。半导体制造中的真实数据已证实其有效性。
A. 研究过程
整个流程分为六个步骤（如图1所示）。首先探索缺陷图像的数据；然后对图像进行预处理：调整大小、反转像素强度等；接着进行特征提取——同时采用Radon拉冬变换和CNN两种方法；在模型训练和测试阶段，80%的数据用于训练集，20%用于测试集；最后用准确率、精确度、召回率和F1-Score评估性能。
图1. 模型训练和测试的工作流程
B. 数据探索
共有11种缺陷类型：残留、划痕、球状、瓶状、法隆、丝状、多点、小颗粒、椭圆形和颜色标记（如表一所示）。每种缺陷都具有不同的特点和元素构成。例如，“Flask”缺陷由铝(Al)和氧(O)组成，“Falon”缺陷由铁(Fe)和镍(Ni)组成，“Oval”缺陷则含氟(F)。不同机器零件的老化会催生不同的缺陷——比如“Flask”含有的铝和氧，主要来自化学气相沉积（CVD）工艺腔室的静电吸盘（ESC）（图2）。
图2. 静电吸盘(ESC)的结构
静电吸盘是一种在电极施加电压后，于电极与物体之间产生吸引力的装置。CVD工艺处于高温高压环境，随着静电吸盘老化，颗粒会掉落在晶圆表面。一旦检测到这种缺陷，就意味着CVD设备的腔体需要维护，老化的部件必须更换。同理，其他类型的缺陷被检测到时，也需要相应的失控行动计划（OCAP）来确保半导体制造的质量。
图3. 缺陷 "Flask"的失控行动方案
C. CNN的特征提取
卷积神经网络是受动物视觉皮层启发而来的变体。视觉皮层中有两种细胞：简单细胞负责提取特征，复杂细胞则从空间邻域组合多个局部特征。CNN模仿这种结构，从输入空间提取特征后再进行分类。网络中的每个卷积层包含许多特征图，同一个特征图中的神经元共享相同的权重。
参数共享的理念让不同神经元共用相同参数。具体做法是，将隐藏神经元组织成共享参数的特征图。覆盖图像不同区块的特征图中的隐藏单元共享相同参数，从不同区块中提取相同类型的特征。图像的每个区块与多个特征图关联，不同特征图中的神经元从同一区块提取不同特征。图4清楚地展示了参数共享的过程：特征图中的每个隐藏单元与图像的不同区块相连，提取相同类型的特征；不同特征图中的隐藏单元从同一区块提取不同特征。
图4. CNN中的参数共享
在图像中，区块可以重叠。要计算每个隐藏单元的激活值，需要将连接到特征图的输入通道的权重乘以输入向量——这种操作就是卷积。这里主要关注离散卷积，它可以定义为：
其中 f 和 g 是两个函数。离散卷积是移位、乘法和加法运算的组合。实际操作中，卷积就是让权重矩阵与图像的某些区块相加，然后移到其他重叠区块上。
D. Radon拉冬变换的特征提取
Radon拉冬变换是检测图像内特征的技术之一。它基于图像域直线的参数化，并评估沿这些直线的图像积分。由于Radon拉冬变换的固有特性，它能很好地捕捉图像的方向性特征。而且它具备平移和旋转不变性，能保留像素强度的变化。二维图像函数在平面上的Radon拉冬变换定义为：
其中 δ 是狄拉克函数，ρ 是直线与原点的垂直距离，θ 是距离向量形成的角度。
Radon拉冬变换被广泛用于边缘检测、纹理分类和计算机断层成像中的图像局部特征检索。图5展示了一个缺陷图像经Radon拉冬变换后的例子。本文提出了一种新方法：将Radon拉冬变换与卷积神经网络组合起来识别缺陷图案。
图5. 原始图像和Radon拉冬变换在各自角度为0-170°时的比较
E. 模型架构
使用卷积神经网络作为分类器的主干。CNN本质上是非线性过滤器的堆栈：逐步减小图像的空间范围，同时增加每个位置对应的过滤器输出数量。堆栈顶部是一个多叉逻辑回归分类器，将特征映射到每个输出类别（“残留”、“划痕”、“球”、“驼峰”等）的概率值。整个网络通过反向传播共同优化，通常采用随机梯度下降实现。
图6. CNN模型结构
尝试了将不同卷积神经网络与Radon拉冬变换相结合作为缺陷模式识别分类器，包括VGG16、Inception和ResNet。如图7所示，RadonNet有两个主要分支。第一个分支处理原始图像：基于卷积层和ReLU激活提取特征，再通过参数共享输出到扁平化层。第二个分支处理Radon拉冬变换后的图像，在每个卷积层学习丰富的特征。最后，将两个分支的结果合并，输入到带有sigmoid激活函数的全连接层。经过模型平均后，加入另一个有11个通道（缺陷类的数量）的全连接层，输出层是用于计算类别概率的softmax层。
图7. RadonNet的结构
F. 算法设计
RadonNet采用小批量随机梯度下降法训练（图8）。每次迭代随机抽取n个图像计算梯度，然后更新网络参数W，在数据集中遍历指定次数后停止。算法中的所有函数和超参数均可应用于后面介绍的不同神经网络。
图8. CNN模型结构
学习率
训练任何深度学习模型时，最棘手的参数之一就是学习率。设得太大，模型权重会振荡，每次更新变动过大，导致模型无法拟合误差变化；设得太小，训练成本增加，还容易卡在局部最小值。训练深度网络时，让学习率随时间退火通常有帮助。这里使用Cosine decay作为学习率函数——它在CIFAR-10和CIFAR-100数据集上已被实证达到最先进水平。计算步骤如下：
其中 ηbase 可看作基线，确保学习率不会低于某个值。
输出设计
输出层是一个全连接层，隐藏大小等于标签数量，输出预测的置信度分数。给定一个图像，用 ok 表示类 k 的预测分数。这些分数可通过softmax算子归一化得到预测概率。设 pk 表示softmax输出的概率，类 k 的概率计算公式为：
其中 pk ≥ 0 且 Σ pk = 1，是一个有效的概率分布。
损失函数
训练过程中，通过最小化负交叉熵损失函数来更新模型参数，让预测分布与真实分布接近。假设图像的真实标签是 t，真实概率分布 q(x) 在 t 处为1，其余为0。损失函数为：
由于 q(x) 的构造方式，最优解是 ot 趋向无穷大，同时保持其他 o 足够小——这样可以促使输出分数显著区分。
G. 数据扩增
深度学习通常需要大量数据来防止过拟合。事实证明，数据扩增能解决数据不足的问题，提升训练精度。它通过转换训练数据来生成新样本，目的是提高分类器的准确性和鲁棒性。这里用到了以下方法：随机裁剪（512中±64）、随机翻转（±90°×i）、随机亮度（255中±32）、随机饱和度（50%到150%）、随机色调（0.5中±0.2）、随机对比度（50%到150%）。做完这些处理，人眼也许还能认出是同一张图片，但对机器而言，它已经是一张全新的图像了。
结果
将该方法与当前最先进的深度学习方法，在先进的半导体工艺（5纳米芯片）缺陷模式分类上进行了评估和比较。
A. 训练程序
使用SGD优化器训练模型，所有实验批次大小设为32，初始学习率设为10-4。评价指标采用准确率、精确度、召回率和F1-score。初始训练结果见表二。R-VGG16、R-ResNet50、R-InceptionResNetV2是与Radon拉冬变换结合的改进模型。结果显示，RadonNet相比原始模型有明显改进。
B. 消融学习
为了证明RadonNet的实用性，进行了严格的消融学习，表三显示了定量比较。“优化器”策略对比了SGD（随机梯度下降）和Adam（自适应矩估计）。Adam结合了SGD和RMSprop的功能，保留动量来调整过去梯度方向的梯度速度，同时调整梯度值平方的学习率，使参数更新更稳定，训练效果更好。
“学习率”策略展示了使用Cosine decay的训练结果。相比固定学习率，Cosine decay带来了更好的表现。最后，带有数据增强的R-InceptionResNetV2脱颖而出，准确率达到98.5%。
C. 主要结果
用精确度、召回率、F1-score三个指标验证了模型的有效性。表四显示了11种缺陷类型的验证结果：所有缺陷类型的精确度都在95%以上；除了“Silk”和“Multi-dots”两种缺陷外，召回率和F1-score也高于95%。这两个缺陷表现稍逊，可能是由于其结构不确定，容易与其他缺陷形状混淆。
表五是混淆矩阵，以百分比显示每类分类的准确性。出于保密要求，这里只提供每类准确率，不展示晶圆绝对数量。左列是标签（基础事实），最上面一行是预测结果，对角线元素代表每种类型的识别率。大多数缺陷类型的准确率大于97%，总体准确率为98.5%。
这项研究成功地将双特征提取技术用于晶圆缺陷分类，提出了一种结合Radon拉冬变换和卷积神经网络的新ADC方法。Radon拉冬变换能从晶圆表面缺陷图像中提取有效特征，CNN则将图像转换为深度维度进行二次特征提取，神经网络借此学习丰富的特征来识别缺陷类型。使用真实缺陷图像数据集进行的性能评估，分类准确率平均达到了98.5%。这套新方法对晶圆图故障模式识别是有效的，也为后续半导体制造中的缺陷分析提供了可靠的工具。