人类形象在艺术创作中早已无处不在——从远古壁画到水墨画、油画，再到如今AIGC生成的虚拟角色，承载着海量关于人体的视觉信息。然而，目前大多数以人为中心的计算机视觉任务，都只盯着现实世界里的真实照片，对虚拟场景下的人体表征几乎视而不见。

这就带来一个问题：当面对卡通、皮影、雕塑这些艺术风格时，那些在真实照片上表现优异的模型，往往会“翻车”。即便是SOTA的人体检测模型，在虚拟场景上的检测准确率也不到20%。好在，IDEA研究院的CVPR 2023入选论文提出了一个解决方案——Human-Art数据集。它同时覆盖现实和虚拟场景，现已正式开源。

先看个例子你就明白了：儿童简笔画里那些天马行空的人物，大人未必数得清有几个，但用Human-Art训练的模型却能轻松辨认。传统皮影戏图片，已有模型束手无策？用Human-Art训练一下，就能生成符合要求的皮影人物。

5万张图像，超12.3万个人物形象：Human-Art如何拓展虚拟场景

现有数据集要么只包含真实照片，要么虚拟场景规模极小——ClassArch只收集了1513张图片，且仅支持单一检测任务。经过近半年的收集与标注，Human-Art从5个现实场景和15个虚拟场景中精选出5万张高质量图像，包括3D虚拟和2D虚拟两大类。风格涵盖油画、水墨画、儿童简笔画、素描、卡通、手办、皮影，甚至包括斑驳残缺的壁画。每一种风格都带来独特的数据处理难题——比如雕塑和壁画中人物形象残缺或极难辨认，研究团队不得不从近100万张原始图片中肉眼快速筛查才完成初选。

每张图片都标注了人体框、21个关键点、自接触点及文本描述。为了兼容真实数据集，21个关键点是在MSCOCO的17个基础上，新增了脚趾尖和手指尖。

这样的设计使得Human-Art可以支持全场景人体检测、2D/3D姿态估计、人体图片生成等多项任务，并为OOD（分布外）问题等方向提供有价值的训练数据。

下游任务验证：Human-Art带来的提升有多明显？

人体检测

传统检测器要么在通用物体数据集上训练，要么只见过真实照片，导致在艺术风格上泛化性极差。研究团队在Faster R-CNN、YOLOX、Deformable DETR、DINO四个检测器上做了实验：使用Human-Art训练后，Faster R-CNN在皮影风格上的准确率提升高达56%，平均准确率提升31%。

2D人体姿态估计

复杂姿态、遮挡和多样化背景一直是2D姿态估计的难点。研究对比了自顶向下、自底向上和单阶段三类方法。自顶向下的方法严重依赖检测器，在虚拟场景上表现欠佳；而自底向上的HigherHRNet比SOTA方法ViTPose高出约6个点，单阶段方法ED-Pose更是高出近10个点（ED-Pose本身是ICLR 2023入选论文）。

3D人体姿态估计

单目3D估计中的深度信息检测是个难题。Human-Art标注的自接触点信息能通过合理的深度优化，将接触区域映射到SMPL模型的顶点上，最小化接触点之间的距离，从而缓解深度模糊问题。

图片生成

Stable Diffusion等模型生成的人物常出现多手多脚、肢体错乱的问题，且难以精确控制姿态。Human-Art提供了丰富的以人为中心的图片及标注，可以训练Text2Image或Pose & Text2Image模型，有效提升生乘人体结构的合理性。

总的来说，Human-Art为计算机视觉社区打开了一扇通往虚拟场景的大门。如果你也想在项目中使用，代码和项目主页都已开放：

代码地址：https://github.com/IDEA-Research/HumanArt
项目主页：https://idea-research.github.io/HumanArt/