游乐游手机版
首页/科技数码/文章详情

蚂蚁集团MingTok突破:AI单模型搞定图像理解与创作

时间:2025-11-27 22:57
蚂蚁集团旗下Inclusion AI团队近日宣布一项突破性研究成果——Ming-UniVision系统,该系统通过统一视觉表示技术实现了图像理解与生成的无缝融合。相关论文《Ming-UniVisio

蚂蚁集团旗下Inclusion+AI团队最新发布了一项突破性研究成果——Ming-UniVision系统,该系统通过统一视觉表示技术实现了图像理解与生成的无缝融合。相关论文《Ming-UniVision: Joint Image Understanding and Generation with a Unified Continuous Tokenizer》已发表于学术平台arXiv,代码与模型同步开源至GitHub和HuggingFace。

传统AI处理视觉任务时面临着根本性矛盾:理解图像需要提取"这是一只橘猫坐在沙发上"的高层语义,而生成图像则需精确控制每个像素的色彩与纹理。这种差异导致系统需要同时维护两套独立架构——CLIP类模型处理语义理解,VAE类工具负责像素重建。双系统并行不仅增加计算复杂度,更在多轮交互时引发质量衰减,如同在不同语言间反复翻译导致信息丢失。

研究团队提出的MingTok技术彻底改变了这一局面。该技术采用三阶段顺序架构:首先通过低层编码器将512×512像素图像压缩为256个连续token,压缩比达32倍;随后语义解码器以自回归方式将紧致潜在序列扩展为高维语义特征;最终像素解码器结合像素反混淆层重建图像,显著提升边缘清晰度。这种设计使单一系统既能解析图像内容,又能根据文字描述生成新图像。

实验数据显示,MingTok在32倍压缩下仍保持0.54的rFID和30.77dB的PSNR值,联合训练后LPIPS指标降至0.12。在Geneval基准测试中,系统在位置控制(0.92)、颜色控制(0.93)等子任务超越所有对比模型,证明共享语义空间对图像合成的有效引导作用。研究团队特别强调,统一表示使理解任务性能提升12%,生成任务收敛速度加快40%。

Ming-UniVision系统的核心突破在于多轮交互能力。用户可先要求生成原始风景图,接着指令"将云朵改为紫色",再添加"三只奔跑的梅花鹿",整个过程在潜在空间直接完成修改,无需返回像素空间重建。这种"就地迭代"机制通过保持语义特征上下文实现,相比传统方法减少83%的计算开销。测试显示,系统在五轮连续编辑后仍保持91%的语义一致性,而分离架构系统在此场景下质量衰减超过35%。

研究团队开发的"可视化思维链"技术进一步提升了交互透明度。当用户提出"把人物衬衫换成蓝色"时,系统会先生成带彩色高亮区域的中间图像,标记出修改范围后再执行操作。这种端到端视觉推理框架使编辑歧义减少62%,在GEdit-Bench-EN测试中,语义一致性评分达8.7分(满分10分),较单步基线提升0.5分。

技术实现的关键在于多阶段训练策略。预训练阶段首先预热MLP连接层和视觉头,使用30%理解任务与70%生成任务的混合数据;随后解锁语言模型进行联合训练,引入混合分辨机制——理解任务采用1024×1024输入增强细节感知,生成任务保持512×512确保效率。监督微调阶段通过构建指令链数据,使模型掌握迭代编辑、细化等复杂操作,最终在55%编辑任务、35%生成任务和15%理解任务的数据分布下达到最优平衡。

尽管系统在标准测试中表现优异,研究团队坦言仍存在两大挑战。其一,缺乏大规模交叉预训练导致细粒度编辑能力受限,当前每个token承载过多视觉细节,使小范围修改可能引发意外变化;其二,多轮交互的概括性不足,模型在超过训练序列长度的编辑任务中性能下降18%。针对这些问题,团队计划探索更低压缩比的标记化方案,并构建包含更长交互序列的训练数据集。

这项研究为多模态AI发展开辟了新路径。通过统一视觉语言,系统不仅简化了架构复杂度,更创造出自然流畅的人机协作模式。用户可以像与艺术家对话般连续提出修改要求,AI则能准确理解意图并逐步完善作品。随着技术迭代,这种统一建模方法有望推动内容创作、医疗影像分析、自动驾驶等领域的范式变革。

来源:https://www.itbear.com.cn/html/2025-11/1015707.html
上一篇家电ETF(159996)11月10日开盘平稳,重仓股美的微涨 下一篇苹果换机数据迁移指南:5种实用方法帮你轻松转移数据
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
理想新车布局预测:L9L与i9上半年发布
科技数码 · 2026-07-04

理想新车布局预测:L9L与i9上半年发布

1月23日消息,综合权威公开信息与行业趋势研判,理想汽车2026年度新车布局规划正式曝光。此番产品线布局,不仅持续深耕SUV市场,同时加速补齐全场景覆盖的拼图。 理想L9旗舰SUV 在增程动力领域,理想L系列将迎来一位新成员——L9L,预计2026年上半年正式上市,预估售价区间为45万至55万元。与

三星消息应用7月停用 部分旧设备可继续使用
科技数码 · 2026-07-04

三星消息应用7月停用 部分旧设备可继续使用

6月29日,多家海外媒体援引三星官方消息证实,三星消息(Samsung Messages)应用将于2026年7月正式终止服务。随着这个截止日期越来越近,依然在使用该应用的Galaxy用户需要尽快迁移到新的默认信息工具。其实过去两年里,三星一直在悄悄引导用户转向谷歌信息(Google Messages

吉利发布2030战略:年销650万辆全面迈向全球前五
科技数码 · 2026-07-04

吉利发布2030战略:年销650万辆全面迈向全球前五

1月22日,吉利控股集团在北京召开战略解析大会,正式发布“一个吉利,全面领先”的2030战略蓝图。战略目标清晰明确:到2030年,全球总销量(含乘用车与商用车)突破650万辆,稳居全球车企前五。其中,新能源车型占比预计达到75%左右,海外销量占比超过三分之一。尤为关键的是,依托全新全球化架构,单车型

OPPO Find X9系列旗舰手机累计销量突破250万部Ultra版超12万部
科技数码 · 2026-07-04

OPPO Find X9系列旗舰手机累计销量突破250万部Ultra版超12万部

OPPO Find X9 Ultra 旗舰机型 回顾产品发布背景:Find X9系列于2025年10月正式登场,作为OPPO年度旗舰产品线,涵盖标准版、Pro版与Ultra版三大版本。该系列的核心竞争力十分明确——影像系统与综合性能的双重显著提升。上市以来,凭借芯片算力、屏幕显示素质、续航表现以及影

IntelliJ IDEA 2025.3.2 版本正式发布
科技数码 · 2026-07-04

IntelliJ IDEA 2025.3.2 版本正式发布

IntelliJ IDEA 2025 3 2 版本现已正式发布。除了常规的漏洞修复与功能完善,本次更新有几个修复点值得格外关注——特别是如果你经常使用终端工具执行命令,或者正在采用远程开发工作流。终端工具窗口的闪烁问题终于得到彻底解决。此前在调用支持同步输出的命令行工具(例如 Claude Code