立体匹配的不确定性困境，终于有了一个优雅的解

立体匹配——这项从两幅已校正图像中估算密集视差图的任务，听起来似乎是一个“老问题”，但它在三维重建、自动驾驶以及机器人导航等应用场景中的核心地位，至今难以撼动。近年来，卷积神经网络与Transformer架构相继登场，将视差预测的精度不断推向新高度。然而，一个长期被忽视的隐患正逐渐浮出水面：这些模型所给出的预测结果，究竟有多高的可信度？

现实情况是，大多数立体匹配模型在输出视差值时表现得“过于自信”。当面对域外样本、低质量图像或受到扰动的输入时，这种盲目的自信很可能引发灾难性的决策。更棘手的是，立体匹配领域普遍采用了“先在合成大数据集上预训练、再到真实场景小数据集上微调”的典型流程，这使得不确定性估计从“锦上添花”变成了“安全刚需”。

与此同时，立体匹配中其实蕴含着丰富的多视角互补信息——例如，多尺度金字塔代价体积能够提供由粗到精的特征，基于代价体积的方法擅长局部纹理聚合，而基于Transformer的方法则长于全局信息捕捉。然而问题在于：现有的融合策略并未考虑不同信息来源的可信度差异，导致“强行融合”反而降低了整体的可靠性。

于是，一个关键问题浮现出来：能否在不显著增加计算负担的前提下，让模型既能给出视差预测，又能知道自己“有多不确定”，同时还能根据这种不确定性来智能融合多视角信息？

这正是今天将要介绍的Evidential Local-global Fusion（ELF）框架所要解决的核心问题。它通过深度证据学习，同时实现了不确定性估计与可信融合——而且，它还能将基于代价体积的方法和基于Transformer的方法各自的优势，以一种非常优雅的方式结合起来。

1 前言

立体匹配的任务定义很简洁：给定一对校正后的左右视图，为每个像素估算出视差值。但难点在于，真实世界中存在着大量不确定因素——光照变化、弱纹理区域、遮挡、反射……这些都会导致模型“看走眼”。

近年来，基于CNN的方法通过构建代价体积并堆叠3D卷积，取得了不错的性能；而Transformer的引入，则用自注意力和交叉注意力机制为全局信息匹配开辟了全新路径。有趣的是，这两种方法在失败模式上恰好呈现出互补特性：

• 基于代价体积的模型在光照变化剧烈的区域容易翻车（见图1(c)红色区块）
• 基于Transformer的模型在处理复杂局部纹理时则显得力不从心（见图1(d)红色区块）

这种互补性暗示了一个方向：如果能够对两个分支分别进行不确定性估计，再根据不确定性进行智能融合，就有望实现1+1>2的效果。基于这一动机，作者提出了ELF框架——一种基于证据的局部-全局融合方案。

核心思想是：在模型的每个分支中引入可信头部，使其输出伴随视差的不确定性度量；然后，利用混合正态-逆伽马分布（MoNIG），实现两阶段的证据融合——内部证据融合整合多尺度代价体积的信息，外部证据融合则协调基于代价体积和基于Transformer的两种异质预测。

主要贡献可以归纳为三点：

• 将深度证据学习引入基于代价体积和基于Transformer的立体匹配，同时估计随机不确定性与认知不确定性
• 提出ELF框架，实现不确定性估计与两阶段证据融合的协同
• 实验证明，ELFNet在准确性和跨域泛化能力上均有稳定提升

2 相关工作

在立体匹配的深度学习方法中，两条技术路线各自发展成熟。基于代价体积的方法通过构建三维代价体积进行匹配，但面对高分辨率输入时，内存和计算压力不小；基于Transformer的方法则利用注意力机制建模长程依赖，但在局部纹理细节上精度有限。二者的互补性已得到业界共识，但如何有效融合，始终缺少一个令人信服的方案。

另一方面，不确定性估计在深度学习中的重要性日益凸显。贝叶斯神经网络、蒙特卡洛dropout、深度集成——这些方法各有侧重，但往往需要额外的计算开销或架构改动。深度证据学习则提供了一条更轻量的路径，它通过预测分布参数来直接量化不确定性，非常适合嵌入立体匹配的回归头部。

3 方法

整体来看，ELF框架由三个核心模块构成：基于代价体积的内部证据融合模块、基于Transformer的全局模块，以及将二者进行外部证据融合的模块。每个分支都会预测一组正态-逆伽马分布参数{δ, γ, α, β}，最终通过MoNIG分布整合出联合视差、随机不确定性和认知不确定性。

3.1 立体匹配的证据深度学习

3.1.1 背景与不确定性损失

证据深度学习的核心在于，不直接预测视差值，而是建模视差所服从的分布。具体来说，假设视差服从正态分布，但其均值和方差本身又服从正态-逆伽马分布（NIG）。这样一来，通过后验分布就可以同时推导出视差、偶然不确定性（aleatoric uncertainty）和认知不确定性（epistemic uncertainty）。训练时使用负对数模型证据作为损失函数，并加入正则项来惩罚错误预测的证据，最终形成一套专为密集立体匹配设计的损失函数。

3.1.2 在立体匹配中的不确定性估计

具体的实现分为两条路径：

• 在基于代价体积的分支中，将原本的视差回归模块替换为可信回归模块，通过两个3D卷积分支和Mish激活函数来输出NIG分布的参数
• 在基于Transformer的分支中，利用交叉注意和自注意机制，结合最优传输模块回归视差和遮挡概率，再通过一个不确定性头生成分布参数

这种设计使得两个分支都能产出校准良好的不确定性估计。

3.2 基于证据的融合策略

融合策略的技术核心是混合正态-逆伽马分布。多个NIG分布的混合可以通过对各参数进行加权求和来实现，这样得到的组合分布既能反映各分支的置信水平，又能保留各分布之间的方差信息——这正是不确定性的精髓所在。

3.2.1 内部证据融合：多尺度代价体积的整合

在基于代价体积的分支中，模型构建了多尺度金字塔代价体积。每个尺度都通过代价聚合和可信回归模块输出一组NIG分布参数。内部证据融合模块将这些分布整合成一个统一的分布，作为多尺度信息的融合结果。这相当于让模型“倾听不同尺度特征的意见”，再根据各自的可信度做出最终判断。

3.2.2 外部证据融合：局部与全局的互补

卷积模型和Transformer模型各有侧重——一个抓局部纹理，一个看全局结构。为了将这两套预测结果合二为一，作者采用了MoNIG分布进行外部证据融合。具体而言，根据局部和全局预测各自的不确定性，对它们的分布参数进行加权组合，得到最终的融合分布。

3.3 损失函数

最终的损失函数由三部分组成：局部输出的不确定性损失、全局输出的不确定性损失以及最终合并输出的不确定性损失。此外，Transformer模块还贡献了注意力权重和遮挡概率，相关的相对响应损失和二值熵损失也被纳入考量。通过权重λi来平衡各项损失的重要程度。

4 实验

评估在Scene Flow、KITTI 2012、KITTI 2015和Middlebury 2014四个数据集上进行，除了常规精度指标，还对不确定性估计的质量进行了专门分析。

4.1 数据集与评估指标

评估指标包括端点误差（EPE）、视差异常点百分比（D1）以及超过3像素的误差百分比。

4.2 实验细节

ELF框架的设计具有通用性，可以与基于Transformer和多尺度代价体积的模型灵活搭配。实验中选择了STTR作为Transformer分支、PCWNet作为代价体积分支。使用AdamW优化器进行端到端训练，先在Scene Flow FlyingThings3D子集上预训练，再在目标数据集上微调。全部实验在NVIDIA RTX 3090 GPU上完成。

4.3 与最先进方法的比较

在Scene Flow数据集上，ELFNet的表现相当亮眼。在Disparity < 192的设置下，相较于之前最好的方法CSTR，EPE降低了19.5%，D1-1px指标提升了9.2%。在全像素（All Pixels）设置下，EPE相较当前最先进方法减少了11.2%。更重要的是，ELFNet在视差估计精度上超越了单纯的代价体积方法和纯Transformer模型，同时保留了Transformer提供的遮挡估计能力——与STTR相比，遮挡交集联合分数达到了相当水平。

4.4 消融实验

消融实验验证了框架中各模块的不可或缺性。结果清晰地表明：不确定性估计模块、内部证据融合模块和外部证据融合模块都对性能提升做出了实质性贡献。在Scene Flow数据集上，ELF框架相比基准方法，EPE减少了21.4%，D1-1px指标也有显著提升。

4.5 融合策略比较

与简单的后期融合策略（如取平均、卷积层融合）相比，ELFNet的基于不确定性的融合策略展现出压倒性优势。这说明“根据不同预测的可信度进行加权”远比“一视同仁地混合”要有效。

4.6 跨域泛化

在零样本设置下——即模型仅在合成Scene Flow数据集上训练，直接用于真实数据集——ELFNet展示了强大的跨域泛化能力。在Middlebury 2014和KITTI 2012上，EPE和D1-3px分数均显著优于现有最先进模型；在KITTI 2015上也取得了具有竞争力的成绩。这无疑增强了ELFNet在现实应用中的吸引力。

4.7 不确定性分析

对不确定性估计的深入分析揭示了一些有价值的规律：随着模型从数据中学习更多信息，不确定性逐渐减小；皮尔逊相关分析表明，不确定性与视差误差之间存在正相关关系；不同数据分布下，不同类型的误差更倾向于与特定类型的不确定性相关联。定性结果也相当直观——在遮挡和边界区域，模型分配了较高的不确定性，而误差发生的区域在不确定性图上同样表现为活跃区域。这意味着，不确定性图本身就可以作为一种误差探测线索来使用。

4.8 限制

任何方法都有代价。ELFNet的主要短板在于推理速度——因为它涉及两个独立的网络分支并行运行，整体耗时明显高于单一模型。未来的改进方向包括引入自适应和稀疏代价体积等高效架构。

5 结论

ELF框架为立体匹配的多视图信息融合提供了一个新思路：不是盲目地混合所有信息，而是先评估每条信息的可信度，再据此进行有选择的融合。通过深度证据学习，模型同时获得了视差预测和不确定性估计的能力，并在准确性和泛化性能上达到了新的高度。这一思路对于其他需要多源信息融合的视觉任务，也具有一定的参考价值。