近年来，3D点云技术已广泛渗透至计算机视觉、状态监测、虚拟现实、机器人及自动驾驶等多个领域。深度学习在2D视觉任务中已展现出强大能力，但将深度神经网络直接应用于3D点云却面临诸多挑战——稀疏性、无序性以及几何结构的复杂性，均带来显著困难。所幸研究人员持续探索，一系列创新方法不断涌现。本综述聚焦工业应用中最核心的两大任务：缺陷形状分类与分割。在工业维护中，准确识别与定位缺陷直接关系到设备寿命与运行安全。文章系统梳理了当前基于深度学习的点云处理方法，并深入剖析各自优势与局限，旨在为工业系统中的状态监测，尤其是剩余寿命预测的改进，提供有价值的参考。 简而言之：本文核心探讨近年来如何利用深度学习对3D点云进行缺陷分类与分割。其中，基于投影与基于体积的方法面临诸多瓶颈，而稀疏卷积正被视为极具潜力的突破口。基于点的网络在邻域信息捕捉与不平衡数据处理方面仍有改进空间。领域自适应与迁移学习被认为是解决标注数据不足问题的可行路径。此外，工业系统中的实例分割虽前景广阔，但挑战巨大。最突出的问题在于真实缺陷数据集的匮乏——需要更多、更优质的数据集来推动模型评估与应用落地。 ## 1 引言 状态监测（CM）对保障结构物长期安全运行至关重要。传统二维图像在提供深度信息与相对位置方面天然受限。随着深度传感器与3D扫描仪的普及，我们终于能够获取更丰富的三维信息。相较于2D图像，3D数据可让我们更透彻地理解对象。近年来，越来越多研究开始利用3D扫描数据进行工业缺陷检测与分割。点云表示法因其能保留原始几何特征，成为众多应用场景的首选。 然而，将深度学习应用于3D点云确实面临独特挑战。本综述聚焦于最新深度学习方法，特别强调其在工业环境中的实际应用。通过剖析基础方法与最新进展，我们重点关注工业状态监测所要求的3D形状分类与分割。综述既涵盖传统方法，也介绍创新思路，揭示了处理工业场景下3D点云的固有挑战与潜在解决方案。此外，文章还对现有深度学习方法进行了详细总结，列出各自优缺点。整体结构包括：现有数据集与评估指标、3D形状分类的深度学习方法、3D点云分割方法的全面调查，以及综合见解与未来研究方向的展望。 ## 2 背景 公开可访问的数据集在3D点云研究中扮演关键角色——没有它们，模型间的公平比较便无从谈起。研究人员已设计出多种数据集，用于3D形状分类、物体检测与点云分割等任务。这些数据集大致分为两类：真实世界数据集（包含不同程度的遮挡与背景噪声）与合成数据集（提供可控实验环境）。此外，文献中常用几个评估指标来量化深度学习模型的性能，包括整体精度（OA）、平均类别精度（mAcc）、平均交并比（mIoU）与平均平均精度（mAP）。选择合适的指标取决于具体任务与期望评估的性能维度。 ## 3 三维形状分类的深度学习 在3D形状分类的深度学习方法中，大致可分为两大类：投影方法与直接点云方法。投影方法又包括多视角方法与体积方法，它们利用成熟的2D图像处理技术来完成任务。直接点云方法则直接对输入的点云数据进行处理，生成稀疏表示。 **多视角方法（Multi-View Based Methods）** 通过从多个视角捕获3D形状的投影，独立提取每个视角的特征，然后融合这些特征以准确分类。代表方法是Multi-View CNN（MVCNN），它从不同视角获取形状，再用CNN独立提取特征。另一种是Group-View CNN（GVCNN），它在池化过程中结合了分组与单个视角信息，准确率比MVCNN更高。 **体积方法（Volumetric-Based Methods）** 将3D形状表示为3D体素网格，使用3D体素卷积——每个体素代表3D空间中该点是否被对象占据。代表方法VoxNet将3D点云与3D CNN结合处理。Octree-based CNN（O-CNN）则利用一组不平衡八叉树对点云进行分层分区，只在相关区域分配内存，从而支持高分辨率的深度网络。 **直接点云方法** 负责处理输入的点云以生成稀疏表示，又可细分为点级MLP、基于卷积与基于图的方法。点级MLP方法（如PointNet、PointNet++）通过共享MLP处理每个点，再用对称聚合函数汇聚局部特征得到全局特征。PointNet++还引入了分层结构来捕获更细的几何信息。 基于卷积的方法中，PointCNN通过学习X变换与排列输入点特征的权重，解决了点云的无序问题；EdgeConv层则从每个点及其邻居中提取边缘特征；ConvPoint引入密集加权函数来定义精细且自适应的卷积核。 图方法将点云转换为图结构，避免了体素化。这类方法利用图中点之间的复杂关系——每个点是一个顶点，相邻点之间通过边连接——来分析空间关系，从而构建包含原始几何特征的图。 ## 4 3D点云分割的深度学习 3D点云分割任务要求对几何结构与细节有全面理解。根据抽象层级，点云分割可分为三类： - **语义分割（场景级）**：将点云中的每个点分类到预定义类别中，实现高层次场景理解。 - **实例分割（对象级）**：识别并区分每个对象，即使属于同一语义类别也要区分不同实例。 - **部件分割（部件级）**：将每个对象细分为不同部件，提供更细粒度的分割。 这三类分别对应场景上下文、对象识别与细粒度部件分割的不同抽象程度。 深度学习为点云分割提供了多种有效方法，主要包括基于投影、直接点云、基于图卷积神经网络等方式。语义分割方法涵盖投影法与直接点云法；实例分割分为基于提议与无提议两类；部件分割则面临对象形状与部件边界不明确的难题。下表（表3）汇总了使用深度学习进行工业系统缺陷分割的结果。 ## 5 总结 本文对近年来基于深度学习的点云分类与分割方法进行了全面调研与讨论。引言部分概述了点云及其应用的重要性，并突出了处理这种独特数据形式所面临的挑战。论文系统梳理了用于对象分类与分割的公开3D点云数据集。综述涵盖了各种深度学习方法，将其划分为基于视图、基于体积与直接点云三大类。通过性能比较，文章揭示了这些方法在工业系统中的优势与局限。最后，讨论部分探讨了该领域的前景与潜在研究方向，有助于全面理解基于深度学习的点云分析的进展与挑战。 点云分类与分割方法已在室内环境、道路、铁路、建筑等多种实际场景中落地。然而，场景的多样性使得评估众多方法的适用性变得困难。研究者需要根据具体场景的特征选择匹配的分类算法，这进一步凸显了数据集的稀缺问题。扩大与丰富数据集，以更好地评估和改进点云分类方法在不同实际场景中的有效性，是当前亟需推进的方向。