深度学习驱动的图像抠图技术：从入门到实战完全指南

图像抠图是计算机视觉领域的一项基础任务，其核心目标是从任意图片中精准提取出前景物体。这项技术对于需要精细边缘细节的前景类别（例如人像、动物、植物）尤为关键，广泛应用于电商广告制作、日常照片编辑、视频会议背景替换、虚拟现实及游戏等元宇宙应用场景。传统方法依赖于底层色彩特征，且对人工辅助信息（如三分图、涂抹等）较为敏感，在复杂背景下往往效果不佳。近年来，基于深度学习的解决方案借助神经网络强大的特征提取能力，取得了显著进展，并催生了全自动抠图、人机交互式抠图、语言引导抠图等新兴方向。本文将系统梳理自深度学习兴起以来（约8年时间跨度）图像抠图技术的研究进展，涵盖主要算法、数据集、评测基准及未来挑战。我们将主流算法分为两大类：基于人工辅助信息的抠图与全自动图像抠图。

一、图像抠图简介

图像抠图问题最早源于电影制作工业，传统方法已历经数十年研究，主流方式包括基于色彩采样和基于相似度矩阵。然而，传统方法受限于底层色彩特征，且对人工辅助信息（如三分图、涂抹等）高度敏感，在复杂背景下难以获得理想结果。自深度学习兴起后，研究者设计了多种卷积神经网络解决方案。早期方法仍依赖人工辅助信息，例如三分图（trimap）、涂抹（scribble）、背景图像、粗糙的初始分割等。近年来，更灵活的方式如用户点击和语言引导也被逐步探索。下图展示了常见的人工辅助信息示例。

图1. 图像抠图输入、预测结果及多种人工辅助信息（三分图、背景、粗糙分割、用户点击、涂抹等）。语言输入示例：“图像中间可爱的微笑的小狗”。

与此同时，为满足工业场景快速应用的需求，全自动抠图技术也被提出，它直接从图像中预测结果，无需任何人工辅助。但由于训练数据分布的影响，这类方法通常倾向于提取图中所有显著性前景物体。

为促进深度学习研究，近年来研究者构建了大量数据集，包括合成数据集与真实世界数据集。下图展示了深度学习时代相关算法的时间轴，可见研究热度持续攀升。

图2. 基于深度学习的图像抠图方法时间轴

图3. 基于深度学习的图像抠图方法总结表（包括出版刊物、输入模态、是否自动化、抠图目标、网络结构、训练/测试数据集等）

二、具体研究进展及讨论

2.1 基于人工辅助信息的抠图

由于图像抠图是一个病态问题（未知参数众多），引入用户辅助信息是常见的解决思路。从传统时代起，三分图（trimap）（定义前景、背景和未知区域）和涂抹（scribble）（指定前景/背景区域）就被广泛采用。进入深度学习时代，下游任务催生了更多辅助信息类型，如背景图、粗糙二元分割图、交互式点击、语言引导等。这些方法的网络结构设计大致分为三类（如图4所示）：

• 单阶段网络
• 单阶段网络 + 边缘模块（用于提取辅助信息中的更多特征）
• 双分支或多分支网络（分别处理图像和辅助信息，再通过融合网络输出最终结果）

图4. 基于深度学习和辅助信息的图像抠图方法框架分类：（a）单阶段网络；（b）带边缘模块的单阶段网络；（c）双分支或多分支网络。

这些方法不断弥补前序工作的不足，更深入地挖掘辅助信息。然而，它们仍存在两个问题：① 依赖人力，难以完全自动化；② 对辅助信息敏感（如三分图未知区域大小、用户点击密度等）。研发更鲁棒的方法既是挑战也是未来方向。