AI虚拟试穿技术已屡见不鲜，但反过来——从穿着衣物的人物照片中“剥离”出衣服，生成一张独立、标准化的商品级衣物图像，这一思路是否让你感到新奇？这正是虚拟试脱（VTOFF）的核心目标。与传统的虚拟试穿（VTON）将服装“穿”到模特身上不同，VTOFF致力于从单张输入图像中准确提取衣物的标准形态。看似简单，但要精准还原衣物的轮廓、纹理与复杂图案，技术挑战相当大。（项目官网与论文链接见文末，即将开源并开放在线体验。）
比勒费尔德大学研究团队提出了全新模型——TryOffDiff。该模型基于Stable Diffusion进行改进，引入SigLIP视觉条件，确保高保真度与细节保留。相比传统基于姿势转移或虚拟试穿的方法，TryOffDiff在生成质量上显著领先，且所需的预处理与后处理步骤大幅减少。VTOFF技术不仅能够优化电商平台的商品展示图像，还可推动生成模型的评估研究，为未来更高精度的图像重建奠定基础。
1. 技术原理
首先，我们需要厘清虚拟试穿与虚拟试脱之间的本质区别。
上方示意图：展示了传统虚拟试穿的典型流程——系统输入一张人物穿着衣物的参考照片，以及一件待试穿服装的图像，最终生成该人物穿上指定服装后的合成图像。
下方示意图：描绘了虚拟试脱的目标——从单张参考图像中预测出衣物的标准形态。换言之，并非为模特换上新的服装，而是从现有照片中将衣物“抽取”出来，以标准姿态、干净背景的形式单独呈现，便于展示衣物商品详情。
具体实现过程如下：首先，利用SigLIP图像编码器从参考图像中提取视觉特征。随后，这些特征经由适配模块进行进一步处理。接着，处理后的特征被注入预训练的文字转图像模型——Stable Diffusion-v1.4——中。关键步骤在于：用图像特征取代原有的文本特征，使其直接作用于交叉注意力层，从而引导生成过程。
通过采用图像特征（而非文本特征）作为条件，TryOffDiff能够针对虚拟试脱任务进行直接优化。适配层与扩散模型联合训练，使模型高效完成衣物提取任务。
为进行对比，研究者将现有多种最先进方法强行应用于VTOFF任务，以评估其表现：
- 左上（GAN-Pose）：基于姿势转移的方法。从左至右依次为：参考图像、经目标图像修正的姿势热图、初始模型输出、SAM提示、最终处理后输出。
- 右上（ViscoNet）：基于视角合成的方法。从左至右：遮罩条件图像、遮罩图像、姿势图像、带SAM提示的初始模型输出、最终处理后输出。
- 左下（OOTDiffusion）：一种较新的虚拟试穿方法。从左至右：遮罩衣物图像、模型图像、遮罩模型图像、带SAM提示的初始模型输出、最终处理后输出。
- 右下（CatVTON）：另一种虚拟试穿方法。从左至右：条件衣物图像、空白模型图像、遮罩图像、带SAM提示的初始模型输出、最终处理后输出。
对比结果一目了然：TryOffDiff在衣物细节保留与伪影抑制方面显著领先，且无需像其他方法那样依赖复杂后处理流程。
项目官方网站：https://riza velioglu.github.io/tryoffdiff
arXiv技术论文链接：https://arxiv.org/pdf/2411.18350