凭借数据增强技术，AI模型只需一个小型数据集，就能复现大都会艺术博物馆的艺术风格，甚至为医疗健康领域开辟全新可能性——这看似科幻，但NVIDIA Research的最新成果已将其变为现实。

可以将它视为生成式对抗网络（GAN）领域的“天才少年”。与传统GAN动辄需要数万张训练图像不同，这一新模型仅需极少量样本，便能学会模仿大师画作或重建癌症组织图像等复杂任务。

其秘诀是一种突破性的神经网络训练技术，已被应用于主流NVIDIA StyleGAN2模型。研究人员利用大都会艺术博物馆不足1500张图像，借助NVIDIA DGX系统加速训练，从历史人物肖像中汲取灵感，创作出全新的AI艺术品。该技术称为自适应鉴别器增强（ADA），即使在训练图像数量减少10到20倍的情况下，仍能保持出色效果。

更令人期待的是，该技术将为医疗健康领域带来深远影响——例如，通过生成癌症组织学图像来辅助训练其他AI模型，从而破解罕见疾病样本稀缺的难题。

NVIDIA图形研究副总裁Da vid Luebke表示：“这些结果表明，人们可以利用GAN来处理数据获取耗时或极其困难的问题。我期待艺术家、医学专家和研究人员能充分挖掘其潜力。”

本周，这项研究将在年度神经信息处理系统大会NeurIPS上展示。值得一提的是，NVIDIA Research在本届NeurIPS上共有28篇论文入选，创下新纪录，而这只是其中之一。它是NVIDIA研究人员在GAN领域一系列创新中的最新成果——包括AI绘画应用GauGAN、游戏引擎模拟器GameGAN，以及宠物照片转换器GANimal，这些模型均在NVIDIA AI Playground上可找到。

数据训练的挑战

大多数神经网络（包括GAN）长期以来遵循一条铁律：数据越多，模型越强。这是因为GAN由两个相互协作的网络组成——生成器负责合成图像，鉴别器则根据训练数据学习何为逼真图像。鉴别器逐像素地提供反馈，指导生成器提升合成图像的真实感。然而，当训练数据有限时，鉴别器的“指导水平”会显著下降——就像新手教练的实战经验远不如资深专家。

通常，要训练出高质量的GAN，需要5万到10万张训练图像。但在许多实际场景中，研究人员根本无法获得这么多样本。仅用几千张图像训练，大量GAN就会“罢工”，结果惨不忍睹。问题出在“过拟合”：鉴别器只能死记硬背训练图像，无法向生成器提供有价值的反馈。

在图像分类任务中，研究人员常用数据增强来缓解过拟合——即通过旋转、裁剪、翻转等手段制造现有图像的“副本”，迫使模型变得更加通用。但此前，将增强技术直接应用于GAN训练图像时，生成器学会了模仿那些扭曲的图像，而非创建可信的合成图像——这成了一个死胡同。

GAN的实战演练

NVIDIA Research的ADA技术巧妙地解决了这一问题：它自适应地应用数据增强。也就是说，在训练过程的不同阶段，可以动态调整数据增强的强度，从而避免过拟合。这使得StyleGAN2这类模型能用更少的训练图像，获得同样惊人的效果。

于是，研究人员可以将GAN应用到以前想都不敢想的场景——那些样本稀少、难以获取，或收集大型数据集太耗时的领域。艺术家们已开始用不同版本的StyleGAN创作惊艳的展品，甚至根据传奇漫画家手冢治虫的风格绘制了新漫画；Adobe也用它来为Photoshop的“神经过滤器（Neural Filters）”提供支持。

由于入门需要的训练数据更少，采用ADA的StyleGAN2还能应用于珍稀艺术品——例如巴黎AI艺术团体Obvious在非洲科塔面具上的创作。另一个潜力巨大的领域是医疗健康：大多数检查结果都是正常的，罕见疾病的医学图像非常稀缺。要积累大量有用的异常病理切片数据集，需要医学专家花费大量时间辛苦标记。

而通过GAN生成的合成图像正好可以填补这个空白——它们可以为另一种AI模型提供训练数据，帮助病理学家或放射科医生在图像或MRI中识别罕见病情。更重要的是，AI生成的数据不存在患者隐私问题，医疗机构之间共享数据集也变得更加便捷。

NVIDIA Research在NeurIPS上大放异彩

NVIDIA Research的成员团队由全球200多名科学家组成，专注于AI、计算机视觉、自动驾驶、机器人技术和图形学等领域。在12月6日至12日举行的年度最大AI研究会议NeurIPS上，NVIDIA研究人员撰写的超过24篇论文将重点展示。

文章主配图是由StyleGAN2借助ADA生成的，它仅基于大都会艺术博物馆收藏品API的不到1500张图像数据集进行训练。