U-Net 在医学图像分割领域的确表现卓越，但其训练过程往往依赖大量人工标注的图像，成本较高。半监督学习（SSL）方法虽能降低标注需求，然而当数据集本身较小且标注图像有限时，模型性能仍会受到制约。此时，一个自然的思路是：借助那些已经完成标注、且具备相似解剖结构的数据集来辅助训练。不过，目标结构的外观与成像模式往往与现有数据集存在显著差异，这被称为“解剖跨域差异”。为了攻克这一难题，研究者提出了跨解剖域自适应对比半监督学习（CS-CADA）方法，其核心思想是：利用源域中一组现有标注的类似结构图像，帮助模型适应目标域的分割任务，而目标域仅需少量标注即可。

下面简要梳理一下该方法的技术细节。CS-CADA 采用领域特定批归一化（DSBN）分别对两个解剖域的特征图进行归一化，同时引入跨域对比学习策略，鼓励模型提取领域不变的特征。这些模块被集成到自我集成平均教师（SE-MT）框架中，通过预测一致性约束来利用未标注的目标域图像。实验结果表明，CS-CADA 能够有效应对极具挑战性的解剖跨域差异问题——只需目标域少量标注，就能在 X 光血管造影图像分割任务中借助视网膜血管图像，或在心脏 MR 图像分割任务中借助眼底图像，取得良好效果，具体表现如下图所示。

前置知识

Semi-supervised Learning

在半监督学习领域，Mean-Teacher 是一种经典架构。它与对抗网络有些相似，同样包含两个网络：teacher 和 student。区别在于，这两个网络的结构完全相同，teacher 的参数由 student 参数的滑动平均（moving average）更新得到，而 student 则通过损失函数的梯度下降来更新参数。

先看 teacher 网络：在整个训练过程中，它的参数始终是 student 参数的 moving average，不参与梯度计算。再看 student 网络：它的参数通过梯度下降更新，损失函数包含两部分。第一部分是有监督损失，用于保证有标签数据的拟合效果；第二部分是无监督损失，旨在让 teacher 的预测结果与 student 的预测标签尽可能接近。由于 teacher 是 student 的平滑版本，这相当于对标签进行了平滑处理，能够确保输出更加稳定——即便面对无标签数据，也可以构造这样的一致性损失。

具体的训练流程如下：假设有一批样本 x1（有标签）和 x2（无标签）。第一步，将它们一起输入 student 网络，得到输出 ys1 和 ys2。第二步，对有标签的 x1 计算分类损失 L1。第三步，通过 student 参数更新 teacher 参数，再将 x1 和 x2 输入 teacher，得到 yt1 和 yt2，然后计算 MSE 损失 L2，用于约束标签的平滑性（即防止抖动）。第四步，用 L1+L2 的总损失对 student 网络进行梯度下降，更新参数。

Domain Adaptation

这部分仅作思路介绍，不涉及论文中的具体实例。Domain Adaptation 的目标是将源域（有标签的训练域）的知识尽可能高效地迁移到目标域（测试域，无标签或只有少量标签）。通常情况下，源域和目标域属于同一类任务，但分布不同或数据差异较大。根据差异程度，可划分为三类：

• Homogeneous 同质：target 与 source domain 特征空间相似，但数据分布存在 distribution shift。
• Heterogeneous 异构：特征空间不同。
• Non-equal：特征空间不同且数据偏移，差异较大，通常需要借助中间辅助数据来 bridge the gap，通过 multi-step / transitive DA 来解决。

这也正是 Domain Adaptation 与流行的 Pre-training 技术的本质区别——Pre-training 后期仍需大量数据微调。而 DA 的目标域没有标签，那么如何让源域训练的模型能在目标域上使用呢？一个自然的想法是：将源域和目标域映射到一个公共特征空间，使它们在这个空间里的距离尽可能缩短。由此产生了三大类方法：

样本自适应：对源域样本进行加权重采样，使重采样后的分布与目标域基本一致，然后在重采样样本上重新学习分类器。该方法简单但过于依赖人工经验。

特征层面自适应：将源域和目标域投影到公共特征子空间，使两者在这个子空间中的数据分布一致。

模型层面自适应：修改源域的误差函数，将目标域的误差纳入考量。具体有两种方式，一是在模型中直接加入“域间距离近”的约束，二是采用迭代方法，逐步对目标域样本进行分类，将置信度高的样本加入训练集并更新模型。

技术手段主要分为两类：基于差异的方法（让空间距离变近）和基于对抗的方法（混淆域判别器）。

Contrastive Learning

对比学习是一种自监督学习方法，通过区分相似样本与不相似样本来学习有用特征，为下游任务提供良好的表征。在本论文中，对比学习被用于跨解剖域自适应，目标是训练一个能够提取域不变特征的模型。与以往对比学习不同的是，该方法专门解决跨域问题，且特别强调在相似的解剖结构之间提取全面的特征。这样一来，训练出的模型可以在不同解剖域上都获得不错的性能。

CS-CADA 方法介绍

CS-CADA 的实现流程主要由三部分组成：DSBN、SE-MT 和跨域对比学习模块。下图中橙色圆圈和蓝色圆圈分别表示源域和目标域经过 DSBN 处理后的特征——由于 DSBN 的设计，每个域上会输出两种不同的特征。

Joint Learning with Domain-Specific Batch Normalization (DSBN)

源域和目标域之间存在差异，如果直接将两个域的数据一起训练，模型会受到域间统计变化的影响，难以学到通用的特征表示。DSBN 的做法是在网络中引入两套不同的批归一化参数，分别处理各自域的数据。这样一来，每个域的特征都能被单独归一化，同时使用域专属的参数进行仿射变换。而卷积核则在两个域之间共享，确保能够学到更通用的表示。