首页 游戏 软件 资讯 排行榜 专题
首页
AI
小红书开源InstanceAssemble:精准还原复杂图像排版的AI方案

小红书开源InstanceAssemble:精准还原复杂图像排版的AI方案

热心网友
16
转载
2025-12-26

12月26日,小红书联合复旦大学发布了在布局控制生成(Layout-to-Image)领域的一项突破性解决方案——InstanceAssemble。该方案通过创新的“实例组装注意力”机制,成功实现了从简单到复杂、从稀疏到密集布局的精准图像生成。这项研究成果已被NeurIPS 2025接收。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

小红书开源 InstanceAssemble:让 AI 精准还原复杂图像排版

近年来,AI绘画技术发展迅猛,从最初的“文字生成图像”逐步迈向“布局控制生成”。后者能够依据用户给出的空间布局约束,生成与之对应的图像。

“布局控制生成”技术的难点之一,在于如何让AI精准地按照用户指定的位置和内容生成图像,常常面临布局对不齐、语义脱节或计算成本过高等问题。

而复旦大学与小红书联合发布的InstanceAssemble新技术,成功实现了对图像中每个物体的精准布局控制,标志着AI绘画进入了“可精准构图”的新阶段。

小红书开源 InstanceAssemble:让 AI 精准还原复杂图像排版

该技术基于当前主流的扩散变换器架构,创造性地提出了“实例拼装注意力”机制。用户只需提供每个物体的边界框位置和内容描述,AI就能在对应位置生成符合语义的图像内容。无论是简单的几个物体,还是密集复杂的场景,InstanceAssemble都能保持高精度的布局对齐和语义一致性。

值得一提的是,该技术还采用轻量级适配方式降低使用门槛。无需重新训练整个模型,仅通过约7100万个参数,就能适配Stable Diffusion3-Medium模型,而适配Flux.1模型更是低至0.84%。

实验中,InstanceAssemble在包含90万个实例的密集布局数据集上表现优异,大幅超越了现有方法。

研究团队为了能更准确地衡量布局与图像的匹配程度,还创建了包含5000张图像和90000个实例的“Denselayout”基准测试集,以及全新的“Layout Grounding Score”评估指标。

实验表明,InstanceAssemble在各种布局条件下均表现优异,即使在训练时仅使用稀疏布局的情况下,也能在密集布局上保持稳健性能。

这项技术已开源,代码和预训练模型可在GitHub获取,为设计、广告和内容创作等领域的应用提供了强大支持。

附上参考地址

小红书开源InstanceAssemble!轻量级布局可控生成框架,复杂多实例图像生成精度再突破

InstanceAssemble: Layout-Aware Image Generation via Instance Assembling Attention

InstanceAssemble GitHub

来源:https://www.ithome.com/0/908/118.htm
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

小红书前员工诉违法解约且期权损失胜诉
科技数码
小红书前员工诉违法解约且期权损失胜诉

4月1日消息,据蓝鲸科技报道,历时两年,陈浩诉前公司小红书违法解约及导致股票期权损失的案件终于告一段落,广东省广州市天河区人民法院判陈浩胜诉,公司需赔偿其违法解除劳动合同赔偿金15余万元、期权损失7

热心网友
04.01
有线耳机成“00后”配饰新宠,有爆款上架三天即售罄
科技数码
有线耳机成“00后”配饰新宠,有爆款上架三天即售罄

封面新闻记者 邹阿江 杨澜曾几何时,有线耳机被蓝牙耳机取代。但现在,这一产品正以“时尚配饰”的新身份重回年轻人视野。近来,“有线耳机穿搭”在社交媒体热度飙升,多家数码店铺销量翻倍。曾经因“麻烦”被淘

热心网友
04.01
有线耳机成“00后”配饰新宠,有爆款上架三天即售罄
科技数码
有线耳机成“00后”配饰新宠,有爆款上架三天即售罄

封面新闻记者 邹阿江 杨澜曾几何时,有线耳机被蓝牙耳机取代。但现在,这一产品正以“时尚配饰”的新身份重回年轻人视野。近来,“有线耳机穿搭”在社交媒体热度飙升,多家数码店铺销量翻倍。曾经因“麻烦”被淘

热心网友
04.01
数聚智联冲刺港交所:华兴资本独家保荐详解
科技数码
数聚智联冲刺港交所:华兴资本独家保荐详解

数聚智连向港交所主板递交上市申请,由华兴资本担任独家保荐人。以2024年综合电商平台GMV计,公司位居中国内地前十大品牌电商解决方案公司之列;在京东平台及消费电子品类中,其GMV排名行业第一。运营分

热心网友
04.01
张雪峰:为何宁肯少赚钱,也拒与新入场者竞争?
科技数码
张雪峰:为何宁肯少赚钱,也拒与新入场者竞争?

说实话,当小雷看到张雪机车这波操作时,第一反应就两字——牛逼。不是因为 820RR 在 WSBK 葡萄牙站两天两冠、直接封神,也不是因为它 4 38 万起的价格让一众进口大牌脸都绿了,而是创始人张雪

热心网友
03.31

最新APP

火柴人传奇
火柴人传奇
动作冒险 04-01
街球艺术
街球艺术
体育竞技 04-01
飞行员模拟
飞行员模拟
休闲益智 04-01
史莱姆农场
史莱姆农场
休闲益智 04-01
绝区零
绝区零
角色扮演 04-01

热门推荐

《洛克王国世界》独角兽伊利斯叫什么-呼唤独角兽的名字怎么写的
游戏攻略
《洛克王国世界》独角兽伊利斯叫什么-呼唤独角兽的名字怎么写的

《洛克王国世界》呼唤独角兽的正确姿势 在《洛克王国世界》的主线任务中,有时会遇到需要精确输入特定角色名称的环节。其中一个关键节点,便是要准确拼写出独角兽“伊利斯”的真名。很多玩家稍不注意就可能记错或用错字,导致任务流程在此停滞不前。这篇指南将为你清晰解析正确的输入方法,助你快速通关。 《洛克王国世界

热心网友
04.06
《洛克王国世界》找到向上的方法任务怎么做-风眠圣所找到向上的方法任务图文攻略
游戏攻略
《洛克王国世界》找到向上的方法任务怎么做-风眠圣所找到向上的方法任务图文攻略

《洛克王国世界》风眠圣所“向上的方法”任务图文通关指南 在《洛克王国世界》的风眠圣所探险过程中,很多玩家会在“找到向上的方法”这一环节遭遇卡点。实际上,只要理清思路、明确顺序,完成这个挑战并不困难。本攻略将为你提供一套经过验证的详细图文流程,帮助你一次性顺利通过。 最后的关键操作非常简单:准确判断风

热心网友
04.06
《洛克王国世界》叶冕魔力猫怎么打-叶冕魔力猫打法技巧攻略
游戏攻略
《洛克王国世界》叶冕魔力猫怎么打-叶冕魔力猫打法技巧攻略

《洛克王国世界》叶冕魔力猫打法全攻略:高效通关技巧解析 在《洛克王国世界》的主线剧情推进中,挑战初始精灵首领叶冕魔力猫是一个重要环节。许多玩家在这个关卡遇到了困难,感觉难以突破。不必担心,这份详尽的实战打法指南将为你提供清晰的过关思路,帮助你轻松击败叶冕魔力猫。 核心挑战思路与强力精灵推荐 与叶冕魔

热心网友
04.06
《洛克王国世界》罗隐在哪里抓-罗隐捕捉位置图解
游戏攻略
《洛克王国世界》罗隐在哪里抓-罗隐捕捉位置图解

《洛克王国世界》罗隐捕捉指南:高效获取圣羽翼王挑战关键战宠 在《洛克王国世界》中,成功挑战传说精灵圣羽翼王是许多训练师的终极目标之一。选择合适的战宠至关重要,而罗隐以其出色的对抗能力,已成为公认的核心攻略选择。那么,这只关键的宠物究竟在哪里可以捕获?本文将为你提供详尽的罗隐捕捉位置图解与实用技巧。

热心网友
04.06
大店小二元宝与银两优先使用攻略-资源合理分配技巧
游戏攻略
大店小二元宝与银两优先使用攻略-资源合理分配技巧

速览 在《大店小二》中,如何高效使用元宝和银两是新手玩家普遍面临的难题。资源有限,如何将每一分投入转化为最大收益?本文将深入解析两类资源的最优使用策略,核心原则是:元宝投资于长期价值,银两专注于核心养成。 大店小二元宝与银两使用优先级攻略 1 元宝使用指南 首要建议:若非充值玩家,请勿将元宝大量用

热心网友
04.06