一、背景与挑战
International Geoscience and Remote Sensing Symposium (IGARSS) 是IEEE地球科学与遥感学会的权威学术会议。2023年7月16日，第46届IGARSS大会在美国帕萨迪纳成功举办，并发布了IEEE GRSS DFC 2023国际遥感数据融合竞赛的最终结果与论文。来自中国、美国、瑞典、日本、印度、德国、比利时、泰国、土耳其等全球25个国家和地区的700余支参赛队伍，经过为期三个月的初赛与决赛激烈角逐，航天宏图PIESAT-AI团队在“建筑物实例分割与屋顶细粒度分类”以及“面向多任务学习的城市建筑物提取与高度估计”两个赛道上，均荣获第一名。
在城市规划与建筑设计领域，建筑屋顶的类型和高度是至关重要的参数，直接影响建筑外观、功能布局、通风条件、采光效果、保温性能及防水能力等。准确提取建筑物的基底轮廓、高度信息以及屋顶类型（如坡顶、平顶、圆顶、尖顶等），有助于高效完成实景三维重建，为土地利用分析、空间数据挖掘、数字孪生应用等提供关键参考数据，同时也能加强环境监测与资源管理，推动城市可持续发展。此外，在城市灾害应急与救援场景中，这些信息的准确性同样至关重要。当城市遭遇地震、洪水等自然灾害时，建筑物屋顶往往会出现破损或坍塌，若能通过卫星影像快速评估灾区屋顶状况，将为救援行动提供重要的决策依据和指导信息。
1. 传统方法的局限
- 传统的建筑检测、屋顶分类及高度估计方法通常依赖地面实地勘测，受天气、光照、时间等因素制约，存在效率低下、成本高昂、精度不足等问题，已难以满足现代应用需求。
- huang等人[1]验证了代表性单阶段(SOLOv2)、两阶段(Mask-RCNN、Cascade Mask RCNN)以及基于查询(QueryInst)的方法，这些方法在类似赛道一的屋顶检测分割数据集UBC [1]中无法达到理想性能。
- zheng[2]、xing[3]等人提出联合语义信息来增强单一高度估计任务的学习效果，然而与高度信息完全匹配的语义标签难以获取，从而影响了高度估计的准确性。
2. 基于光学遥感图像的三大挑战
- 长尾分布：不同屋顶类型、建筑物高度（低层、中层、高层）的样本呈现出不均匀的长尾分布，如图1.1-1.3所示。
- 弱小目标：遥感图像中大量建筑属于弱小目标，难以准确分辨。
- 视觉模糊：不同屋顶类别之间的视觉特征相似度高，难以区分。
- 标注不对齐：部分标注数据中，建筑轮廓与高度掩码（nDSM大于0的部分）存在不对齐现象，如图1.4所示。
- 环境干扰：实际场景中的云雾遮挡、建筑阴影、相互遮挡等因素，降低了识别精度。
SAR雷达影像由于波长较长，能够穿透云层、雾、灰尘、霾和烟雾，弥补了遥感光学影像受天气、光照、时间等因素干扰的不足。我们尝试将遥感可见光影像与SAR雷达影像这两种模态数据，同深度学习算法相结合，研发全新的多模态建筑基底、屋顶类型、高度估计方法，从而实现更高精度的建筑属性自动提取。
▲图1.1 IEEE GRSS DFC 2023数据集[4]中的12种屋顶类型
▲图1.2 IEEE DFC 2023数据集中各类屋顶实例分布情况。灰色、橙色和蓝色分别代表大、中、小实例
▲图1.3 IEEE GRSS DFC 2023数据集中建筑高度分布情况，超过50m的约占2%
▲图1.4 IEEE GRSS DFC 2023数据集中，建筑物轮廓与nDSM图像不对齐的样例