ICLR 2026:浙大哈佛Stroke3D实现2D草图到3D模型一键生成
Stroke3D首次实现了从2D草图和文字描述到可直接动画的3D资产的端到端生成,其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了全新思路。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
在3D内容创作领域,传统方法往往受限于专业软件的高门槛和AI生成工具的局限性。然而,浙江大学与哈佛大学的研究团队近期提出的Stroke3D框架,正在引领一场3D创作的新革命!通过简单的2D草图和一句文字描述,Stroke3D就能生成带有完整骨架、纹理清晰、可直接驱动动画的3D网格模型。这一创新不仅大幅降低了3D创作的门槛,更为AR/VR、影视动画和机器人仿真等领域带来了无限可能。

相关链接

论文介绍
绑定3D模型是3D变形和动画的基础。然而,现有的3D生成方法在生成可动画几何体方面面临挑战,而绑定技术又缺乏对骨骼创建的精细结构控制。
为了解决这些局限性,论文提出了一个全新框架Stroke3D,它能够直接从用户输入(2D绘制的笔触和描述性文本提示)生成绑定网格。方法开创了一种两阶段流程,将生成过程分为:可控骨骼生成,采用骨骼图VAE(Sk-VAE)将骨骼的图结构编码到一个潜在空间中,其中骨骼图DiT(Sk-DiT)生成骨骼嵌入。生成过程同时依赖于文本的语义信息和2D笔触的显式结构控制,VAE的解码器重建最终的高质量3D骨骼;通过TextuRig和SKA-DPO增强网格合成,在此基础上合成纹理网格。在此阶段,首先使用TextuRig数据集(一个包含纹理和绑定网格以及说明文字的数据集,来自Objaverse-XL)扩充现有骨骼到网格模型的训练数据,从而增强其性能。此外采用基于骨骼-网格对齐评分的偏好优化策略SKA-DPO,以进一步提高几何保真度。该框架为创建可直接用于动画的3D内容提供了更直观的工作流程。
方法概述
Stroke3D 方法
Stroke3D概述。在训练阶段,Sk-VAE将骨架图编码到潜在空间中。随后,训练Sk-DiT以生成这些潜在嵌入,并以相应的2D笔画和文本提示为条件。使用TextuRig进行训练后,我们利用SKA-DPO,通过骨架网格对齐奖励信号进一步优化SKDream。右侧展示了模型的实现细节。
骨骼生成
将骨架生成结果与RigNet、SKDream、MagicArticulate和UniRig进行了比较。

网格生成
将网格生成结果与SKDream进行比较,并展示了SKA-DPO和TextuRig的消融研究。

TextuRig 数据集
对用于网格生成的TextuRig数据集进行分析。

结论
Stroke3D首次实现了从2D草图和文本到可直接动画的3D资产的端到端生成,其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了新思路。该工作不仅贡献了高质量的TextuRig数据集,还提出了创新的SKA-DPO优化策略,显著提升了生成几何质量。未来,Stroke3D有望在游戏开发、虚拟人创建、影视预可视化等领域发挥巨大作用,让3D创作更接近人类最自然的表达方式——绘画和语言。
相关攻略
Glyf 3D AI Art Generator是什么 提起移动端的3D创意工具,Glyf 3D AI Art Generator正在成为一个绕不开的名字。简单来说,它是一款由Glyf团队打造的AI辅助设计应用,核心目标很明确:赋能创意。无论是想把脑海中简单的3D草图快速“升维”成精致的艺术品,还是
跑步机改造3D打印机:突破尺寸限制,2米工字钢一次成型 在3D打印技术应用中,打印尺寸受限一直是行业痛点。目前市面上的普通3D打印机,面对直径超过1米的大型物件往往束手无策,通常需要将模型分割成多个部件分别打印,再进行繁琐的后期拼接。这一过程不仅耗时耗力,还可能影响成品的结构强度与整体精度。 那么,
3月18日消息,理想汽车创始人李想今晚发文,揭开了全球车企与科技公司投入巨资却进展有限的核心原因,并给出理想的技术破局方案。李想指出,人类在幼年就通过活动建立了完整的3D物理空间认知,这是安全驾驶的
Stroke3D 首次实现了从2D草图和文本到可直接动画的3D资产的端到端生成,其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了新思路。 在3D内容创作领域,传统方法往往受限于专业软件
3月2日消息,在MWC 2026世界移动通信大会上,联想展示了专为3D艺术家和开发者量身定制的概念新品Yoga Book Pro 3D。Yoga Book Pro 3D延续了联想在双屏形态上的探索,
热门专题
热门推荐
《王者荣耀世界》正式服全面上线:深度协作与战术博弈的开放世界新纪元 备受瞩目的《王者荣耀世界》正式服现已震撼开启。PC平台已于4月10日全面开放,移动端版本也计划在本月内同步推出。需要特别指出的是,这款由腾讯天美工作室群匠心打造的作品,并非传统的刷怪升级式MMORPG。其核心设计哲学,更侧重于强调团
异环成就:解锁独特体验的进阶指南 在游戏或特定领域中,异环往往是那个最诱人的独特元素。获得它,不仅意味着解锁了别样的体验,更带来一种难以言喻的满足感。那么,如何高效地获取这些成就呢?关键在于方法。 完成主线任务与挑战 毫无疑问,主线剧情通常是通往异环的核心路径。跟着故事线走,完成那些设计精巧的挑战性
铃声下载后无法播放的常见原因为您的诺基亚手机精心挑选了新铃声,下载后却发现无法正常播放,这确实令人困扰。此类问题通常源于几个核心环节。首要原因是铃声文件格式不兼容。虽然当代诺基亚智能手机普遍支持MP3、AAC等主流格式,但部分经典机型或特定系列对音频文件的编码方式、比特率乃至文件类型有更严格的规定。
DNF千海天版本女街霸技能数据全面解析与加点推荐 在DNF千海天版本中,女街霸(也称毒王)的表现如何?她的技能伤害数据与实战强度是否有所提升?本文将为你深度解析女街霸的核心技能数据、输出循环构建,并提供实用的加点思路,帮助你全面掌握这个兼具持续毒伤与瞬间爆发的特色职业。 首先,我们来看奠定其伤害基础
MySQL触发器如何实现多对多关联校验与中间表一致性维护 在数据库设计中,利用触发器维护多对多关系的一致性,常被视为一种自动化解决方案。然而,其实际应用场景与限制条件需要开发者精准把握。本文将深入解析MySQL触发器在中间表数据一致性保障中的核心作用、关键限制以及最佳实践,帮助您做出更合理的技术选型





