图像配准是图像处理领域的一项关键技术，其核心在于通过寻找合适的空间变换，将不同条件下获取的图像精确对齐，从而实现多源信息的有效融合。本文将系统介绍图像配准的定义、典型应用、分类方式、标准流程、评估指标以及前沿进展，帮助读者全面理解这一重要技术。
一、定义
图像配准是指利用特定算法，依据某种评估准则，将一幅或多幅图像（或图像的局部区域）最优地映射到目标图像上的过程。根据配准算法的不同、评判标准的差异以及图像类型的多样，图像配准方法也呈现出多种分类（详见“问题分类”部分）。
二、问题背景和应用
图像配准在计算机视觉、医学图像分析、材料力学、遥感探测等领域具有广泛的应用价值。由于可处理的图像类型繁多，目前尚无法开发出一套适用于所有场景的通用优化方法。
- 医学图像处理与分析：随着医学成像设备的不断进步，针对同一患者，既能获取CT、MRI等提供精确解剖信息的图像，也能采集SPECT等功能性图像。然而，仅凭医生主观经验与空间想象来观察不同图像进行诊断存在局限。采用合适的图像配准方法，可将多种模态的信息精确融合至同一图像中，使医生能够更便捷、更准确地从各个角度观察病灶与结构。此外，通过对不同时间点采集的动态图像进行配准，还能定量分析病灶及器官的变化趋势，使医疗诊断、手术规划、放射治疗方案的制定更加精准可靠。
- 计算机视觉领域：配准技术可用于视频分析、模式识别以及自动跟踪对象的运动变化，是很多视觉系统的基础模块。
- 材料力学方面：配准常被用于研究材料的力学特性，即数字图像相关方法。通过融合不同相机或传感器采集到的形状、温度等信息，可计算获得应变场、温度场等物理量；再代入理论模型，还可实现参数的反向优化。
三、相关关键词
相近词
图像配准（image registration），也叫映射匹配（mapping matching）、共配准对齐（co-registration alignment）、融合（fusion）
注：mapping侧重空间映射关系，fusion则指图像融合，不仅包含配准，还涉及数据集成后的图像显示处理。
相近领域
图像融合、图像拼接、图像分割、超分辨率重建、图配准、点云配准、SLAM即时定位与地图构建
使用方法
相似性测度、配准精度、配准算法、小波变换、互信息、仿射变换、特征提取、特征点匹配、相位相关、角点检测、边缘检测、旋转角度、遗传算法、深度学习等
应用领域
医学图像、遥感图像、天气预测、地理信息系统、超分辨率、运动追踪、自动控制
四、问题分类
图像配准的分类标准并不唯一，下面两图展示了某位研究者[2]于2014年提出的分类结果。
本人的分类结果见下图
1. Registration Quality: 配准性质
根据所处理数据或特征的类型来划分，例如自然图像配准、医学图像配准、遥感图像配准等。
2. 图像采集方式
- Multi-view Analysis: 多视图配准 — 针对同一物体在同一场景下不同视角拍摄的图像进行对齐。从多个视角捕获相似对象或场景的图像，以获得更全面的表示，例如利用图像拼接从2D图像重建3D模型。
- Multi-temporal Analysis: 多时相配准 — 对同一物体在同一场景、同一视角、不同时间获取的图像进行配准，适用于运动追踪、肿瘤生长监测等任务。
- Multi-modal Analysis: 多模态配准 — 多模态配准在医学图像领域尤为常见，以多模医学图像配准为例。不同医学成像设备（如CT、MRI、PET、fMRI等）能提供患者不同形式的信息。根据使用模态的数量，可划分为单模态配准（Single-modality）和多模态配准（Multi-modality）。
Figure 1 MEG-MRI多模态配准示意图
3. Interaction: 配准流程互动性
可分为手动、半自动或自动三种方式。
4. Dimensionality: 图像空间维数
仅考虑空间维度时，可划分为2D/2D、2D/3D、3D/3D等类型。若引入时间序列，则还需处理不同时刻提取的两幅图像之间的配准问题。
5. Domain of transformation: 图像转换区域（全局/局部配准）
6. Nature of Registration basis: 配准基准的性质
依据算法所采用的特征及相似性测度进行分类。
- 基于内部特征的配准：内部特征指从图像本身提取出的信息。
- 基于特征（feature-based）：利用几何上具有特殊意义的特征点集（如不连续点、图形转折点、线交叉点等），或通过分割提取感兴趣区域的轮廓（曲线或曲面）作为比较的特征空间。在医学图像中，这些特征可以是具有解剖意义的点。
- 基于像素值（intensity-based）：利用整幅图像的像素或体素构建特征空间，依据像素值的统计信息计算相似性测度，常见方法包括最小二乘法、傅里叶法、互相关法、互信息法等。
- 基于外部特征的配准：在医学图像中，通过在患者身上固定标记物或注入显影物质，获得图像上确定的标记点，这些即为外部特征点。
- 基于不同装置成像坐标的配准
7. Subject of Registration: 配准主体
以医学图像配准为例，可分为Intra-subject（图像来自同一患者）、Inter-subjective（来自不同患者）和Atlas（患者数据与图谱配准）三种。Object of Registration: 配准物体（如头部、乳腺、胸部、眼部、腹部、膝盖等）
8. Type of transformation: 变换性质
根据将浮动图像空间映射到参考图像空间所用的变换模型来分类。图像空间变换可分为刚体变换（rigid）和非刚体变换（non-rigid, deformable）。
- 第一类变换模型为线性变换，包括旋转、缩放、平移以及其他仿射变换。线性变换具有全局性，无法模拟图像间的局部几何差异。
- 第二类变换模型允许“弹性”或“非刚性”变换，能够局部地扭曲浮动图像以对齐参考图像。非刚性变换包含径向基函数（薄板样条、多重二次曲面、紧支撑变换）、物理连续模型（粘性流体）以及大变形模型（微分同胚）等。
变换模型通常是参数化的，例如整个图像的变换可由单个参数（变换向量）描述，这类模型称为参数模型。反之，非参数模型不依赖参数化，允许每个图像元素任意移位。
9. Parameters of Registration: 算法参数
当特征以特征点集形式呈现时，可通过联立方程组求解变换。但一般情况下，配准问题转化为求解相似性测度最优值的问题，计算中常采用梯度下降法、牛顿法、Powell法、遗传算法等迭代优化算法。
根据算法本质的分类
图像配准最本质的分类方式为：
- 基于灰度的图像配准
- 基于特征的图像配准
实际配准算法大多是基于上述两点的混合或变体。
五、图像配准通用流程
通常，图像配准技术包含四个核心要素：变换模型、特征空间、相似性测度、搜索空间与搜索策略。基于这四要素，配准步骤一般可分为以下五个阶段：
- 根据实际应用场景选择适当的变换模型；
- 选取合适的特征空间（基于灰度或基于特征）；
- 根据变换模型参数及所选特征，确定参数可能的变化范围，并选用最优的搜索策略；
- 在搜索空间中应用相似性测度，按照优化准则进行搜索，找到最大相关点，从而求解变换模型中的未知参数；
- 将待配准图像按照变换模型映射到参考图像，完成图像间的匹配。
其中，如何选取合适的特征进行匹配是整个配准过程的关键。
以基于特征的图像配准通用流程为例：
1. Feature detection: 特征检测
特征检测是图像配准的重要任务。根据问题复杂程度，可采取手动或自动检测，通常优先选择自动检测。封闭边界、边缘、轮廓、线交点、角点，以及它们的代表点（如重心或线末端，统称为控制点）均可作为特征。这些特征应易于检测，具备物理可解释性和可识别性。参考图像与浮动图像需共享足够多的共同特征集合，且不受未知遮挡或意外变化的影响。检测算法应足够稳健，能够在场景的所有投影中检测相同特征，而不受特定图像变形或退化的干扰。
2. Feature matching: 特征匹配
该步骤建立在待配准图像与参考图像中检测到的特征之间的对应关系上。除了利用特征间的空间关系，还需采用不同的特征描述符（feature descriptor）和相似性度量来评判配准的准确性。特征描述符应设计合理，使其在任何退化情况下保持稳定，同时不易受噪声影响且能有效区分不同特征。
3. Transform model estimation: 图像变换模型的估计
为了将浮动图像配准到参考图像，需要估计映射函数的参数。这些参数通过上一步得到的对应特征来计算。映射函数的选择取决于图像采集过程及对预期图像变形的先验知识。若缺乏先验信息，则需确保模型具备足够的灵活性。
4. Image transformation/re-sampling: 图像变换与重采样
对浮动图像应用映射函数进行图像变换，最终完成配准。
六、图像配准质量评估标准（performance measures）[3][4]
评估图像配准的准确度与质量至关重要。不同类型的图像需要采用不同的评估标准，目前尚无绝对的金标准（gold standard）可适用于所有场景。下面以医学图像为例，介绍两种最经典的评估方法：单模图像配通常使用 相关性（Correlation Coefficient, CC） 来衡量效果，而多模图像配准则常用 互信息（Mutual Information, MI）。
① 相关性 Correlation Coefficient (CC)
相关性本质上是一种相似性度量，用于了解浮动图像与参考图像的相似程度。若两幅图像完全相同，相关性值为1；完全不相关时值为0；值为-1则表示图像完全反相关，即一幅图像是另一幅的负像。通过相关性作为评价标准，单模态配准往往能获得满意结果。对于同一物体因采集条件差异或自身微小变化而产生的图像序列，采用最大化图像间相似性的原理可实现配准，主要优化刚体的平移和旋转参数。相关性主要适用于单模图像配准，尤其适合对一系列图像进行比较，以发现由疾病引起的细微变化。
其计算公式如下：
其中，x_i 、y_i 分别表示浮动图像和参考图像第 i 个像素的强度值，x_m 、y_m 为两幅图像的平均强度。
② 互信息 Mutual Information (MI)
互信息是衡量两幅图像中对应体素强度之间相似度的另一个重要指标。当两幅图像准确对齐时，互信息达到最大值。互信息的值非负且具有对称性，取值范围从零开始，可变化到较高数值。高互信息值表示不确定性的大幅降低，而零值则表明两变量相互独立。该方法无需对两种成像模式中强度关系的性质作任何假设，也无需对图像进行分割或预处理，因此被广泛应用于CT/MR、PET/MR等多种配准任务。最大互信息法几乎适用于任何不同模态图像的配准，尤其当其中一幅图像的数据部分缺损时，仍能取得良好的配准效果。
公式中p(x, y)为联合分布函数，p_1(x)、p_2(y)为边缘分布函数。此外，也常采用图像分割领域的DICE loss[5]、熵相关系数（Entropy Correlation Coefficient，ECC）等指标进行评估。
七、前人工作
1. 经典方法
- 《图像配准技术及其MATLAB编程实现》
- Image registration methods：A survey
- Image Registration Techniques：A Survey
- Deformable Medical Image Registration: A Survey
2. 最新热点
基于神经网络：
- 稀疏跨域对象映射 SIGGRAPH 2018：Neural Best-Buddies: Sparse Cross-Domain（https://kfiraberman.github.io/neural_best_buddies/）
医学图像配准[6][7]（参考：Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions）
常见问题
问：图像配准中最常见的挑战是什么？
答：常见挑战包括：图像间存在较大的几何变形（非刚性变换）、不同模态间的强度关系呈非线性、噪声与遮挡的干扰、缺乏足够的特征对应点等。选择合适的方法（如基于互信息的多模态配准或深度学习方法）可有效缓解这些问题。
问：如何判断配准效果是否达到要求？
答：通常结合定量指标（如CC、MI、DICE系数）与可视化检查共同判断。对于医学图像，还可请专家目视评估解剖结构的对齐程度。若缺乏金标准，可通过合成已知变换的数据进行验证。
问：基于特征和基于灰度的配准各有什么优缺点？
答：基于特征的方法速度快、对噪声鲁棒，但依赖特征检测的准确性；基于灰度的方法利用全图信息，精度高，但计算量大，且对初始位置敏感。实际应用中常将两者结合使用。
小提示
提示：在进行图像配准前，建议先对图像进行预处理（如去噪、归一化、尺度统一），这能显著提升配准精度和收敛速度。对于医学多模态配准，优先选择互信息或基于深度学习的方法。
编辑：黄飞