小红书开源InstanceAssemble：AI精准还原复杂图像排版
IT之家12月26日消息，小红书与复旦大学近期合作，共同推出了一项在布局控制生成（Layout-to-Image）领域的重要突破——InstanceAssemble方案。此项技术通过创新的“实例组装注意力”机制，能够精准地将从简单到复杂、从稀疏到密集的各类布局转化为逼真图像，其研究成果已被NeurIPS 2025收录。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
近年来，AI绘图技术发展迅猛，已从最初的“文字生成图像”（Text-to-Image）逐步迈向“布局控制生成”（Layout-to-Image）的新阶段。后者能够根据用户设定的空间布局约束（如边界框、分割掩码或骨架图），生成与之精确对应的图像内容。
然而，“布局控制生成”技术面临的核心挑战在于，如何让AI精准地按照用户指定的位置和物体类别来生成图像，同时避免出现布局错位、语义脱节或计算成本过高等问题。
此次复旦大学与小红书联合发布的InstanceAssemble新技术，成功实现了对图像中每个物体的精细布局控制，标志着AI绘图正步入一个“可精准构图”的新时代。
该技术基于当前主流的扩散变换器（Diffusion Transformer）架构，创新性地提出了“实例组装注意力”机制。用户只需提供每个物体的边界框位置和语义描述，AI就能在对应的空间位置生成语义一致的图像内容。无论是仅包含少量物体的简单场景，还是物体密集、结构复杂的画面，InstanceAssemble都能保持高精度的布局对齐与语义一致性。
值得一提的是，该技术采用了一种轻量级的适配方式来降低使用门槛。它无需重新训练整个庞大的基础模型，仅需通过约7100万个适配参数（约占模型总参数的3.46%）就能适配Stable Diffusion3-Medium模型。而适配更先进的Flux.1模型时，所需额外参数比例更低，仅需约0.84%。
在实验中，InstanceAssemble在一个包含90万个实例的密集布局数据集上表现优异，其性能大幅超越了现有同类方法。
为了更准确地衡量布局与生成图像的匹配程度，研究团队还创建了一个包含5000张图像和9万个实例的“Denselayout”基准测试集，并提出了全新的“布局基础评分”（Layout Grounding Score, LGS）评估指标。
实验结果表明，InstanceAssemble在各种布局条件下均表现出色。即使在训练时仅使用稀疏布局（约10个实例）数据，它也能在处理密集布局（超过10个实例）时保持稳健的生成性能。
目前，这项技术已全面开源，相关代码和预训练模型均可在GitHub上获取。这为设计、广告、内容创作等领域的应用落地提供了强大的技术支持。
IT之家附上参考地址
相关攻略
4月1日消息，据蓝鲸科技报道，历时两年，陈浩诉前公司小红书违法解约及导致股票期权损失的案件终于告一段落，广东省广州市天河区人民法院判陈浩胜诉，公司需赔偿其违法解除劳动合同赔偿金15余万元、期权损失7
封面新闻记者 邹阿江 杨澜曾几何时，有线耳机被蓝牙耳机取代。但现在，这一产品正以“时尚配饰”的新身份重回年轻人视野。近来，“有线耳机穿搭”在社交媒体热度飙升，多家数码店铺销量翻倍。曾经因“麻烦”被淘
封面新闻记者 邹阿江 杨澜曾几何时，有线耳机被蓝牙耳机取代。但现在，这一产品正以“时尚配饰”的新身份重回年轻人视野。近来，“有线耳机穿搭”在社交媒体热度飙升，多家数码店铺销量翻倍。曾经因“麻烦”被淘
数聚智连向港交所主板递交上市申请，由华兴资本担任独家保荐人。以2024年综合电商平台GMV计，公司位居中国内地前十大品牌电商解决方案公司之列；在京东平台及消费电子品类中，其GMV排名行业第一。运营分
说实话，当小雷看到张雪机车这波操作时，第一反应就两字——牛逼。不是因为 820RR 在 WSBK 葡萄牙站两天两冠、直接封神，也不是因为它 4 38 万起的价格让一众进口大牌脸都绿了，而是创始人张雪
热门专题
热门推荐
V社联合创始人G胖调整角色：从主导开发转向赋能团队，释放创意生产力 近期一则消息引发游戏行业广泛关注：Valve联合创始人加布·纽维尔（“G胖”）在公司内部进行了一次重要角色转型。此次调整的关键原因，与他个人在公司中的特殊影响力息息相关。根据透露，这位创始人决定减少在具体游戏开发工作中的直接深度参与
红魔姜超透露：全新游戏平板将于四月或五月发布，承诺带来惊艳体验 游戏硬件领域即将迎来重磅更新。努比亚红魔游戏手机的产品线负责人姜超，近日通过社交媒体进行了一次颇具悬念的“前瞻剧透”，成功引发了广大游戏玩家和科技爱好者的高度关注。他明确指出，红魔全新一代游戏平板的发布日期已锁定在四月或五月，并使用了“
金铲铲之战S17天煞羁绊：效果解析与实战应用 在《金铲铲之战》S17赛季中，【天煞】是一个定位独特的专属羁绊，仅由5费英雄“劫”所携带。激活这一羁绊需要特定的前置条件——玩家必须在强化符文选择阶段获得【入侵者劫】。一旦成功解锁，劫将获得全新的技能机制，从而在战局中发挥出颠覆性的作用。 金铲铲之战S1
索尼调整第一方工作室阵容，王牌重制团队蓝点工作室正式“退出”核心名单 近日，索尼在其PlayStation Studios官方网站的更新中做出了一项关键调整，引发了游戏玩家和行业观察者的广泛关注：曾凭借《恶魔之魂：重制版》等作品赢得盛誉的蓝点工作室，已不再出现在索尼核心第一方工作室的名单之中。此次页
未来人类X98W移动工作站正式发布：重新定义移动端专业性能的新标杆 在专业移动计算领域，总有一些产品能够打破常规认知。近日，未来人类（TerransForce）正式在其官网上线了全新的X98W高性能移动工作站，并宣布将于本月内全面发售。这款设备的问世，无疑为那些在移动办公环境中仍需要桌面级别强悍性能