最近，中山大学和字节智创数字人团队联合发布了一项让人眼前一亮的研究——MMTryon虚拟试穿框架。简单来说，你只需要上传几件衣服的图片，再加上一句描述穿搭方式的文本指令，就能一键生成模特的上身效果，而且画质高得离谱。

不妨想象一下这个场景：你挑了一件大衣、一条裤子，再搭个包，然后“咔”一下，这些东西就自动穿在了人像身上。无论你是真人照片还是动漫角色，都能瞬间搞定。这操作，简直不要太酷。

更值得细说的是MMTryon背后的技术逻辑。在单图换装方面，团队利用海量数据设计了一套专门的服装编码器，能应对各种复杂的换装场景和任意服装款式。而到了组合换装环节，它彻底碘伏了传统算法对服装精细分割的依赖——一条文本指令就解决问题，生成效果既真实又自然。

在基准测试中，MMTryon直接拿下了新的SOTA成绩。研究团队还引入了一个多模态多参考注意机制，让换装效果更精确、更灵活。要知道，此前的虚拟试穿方案要么只能试穿单件单品，要么对着装风格束手无策。现在，MMTryon把这些痛点一并扫清了。

它还特别聪明的一点是：用一个表征能力极强的服装编码器，搭配一套新颖的可扩展数据生成流程，整个换装过程完全不需要任何分割操作，直接通过文本和多个试穿对象就能实现高质量虚拟换装。换句话说，你不需要手动抠图，不需要标注服装边界，AI自己就搞明白了。

在多个开源数据集和复杂场景下的大量实验表明，MMTryon在定性和定量层面都全面超越了现有的SOTA方法。团队还预训练了一个服装编码器，利用文本作为query来激活文本对应区域的特征——这一设计彻底摆脱了对服装分割的依赖。

值得一提的是，为了训练组合换装能力，研究团队基于大模型构建了一个数据扩增模式，生成了包含100万样本的增强数据集。正是有了这个“弹药库”，MMTryon才能在各类换装场景中呈现真实的虚拟试穿效果。

从用户体验来看，MMTryon就像时尚界的一颗黑科技冲击波：它不仅帮你一键试穿，还能充当fashion换装辅助设计工具，帮你参谋该选哪一件。在量化指标和人工评估中，MMTryon均显著优于其他基线模型，效果实打实的硬核。

论文地址：https://arxiv.org/abs/2405.00448