ICLR 2026:浙大哈佛Stroke3D实现2D草图到3D模型一键生成
Stroke3D首次实现了从2D草图和文字描述到可直接动画的3D资产的端到端生成,其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了全新思路。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈
在3D内容创作领域,传统方法往往受限于专业软件的高门槛和AI生成工具的局限性。然而,浙江大学与哈佛大学的研究团队近期提出的Stroke3D框架,正在引领一场3D创作的新革命!通过简单的2D草图和一句文字描述,Stroke3D就能生成带有完整骨架、纹理清晰、可直接驱动动画的3D网格模型。这一创新不仅大幅降低了3D创作的门槛,更为AR/VR、影视动画和机器人仿真等领域带来了无限可能。

相关链接

论文介绍
绑定3D模型是3D变形和动画的基础。然而,现有的3D生成方法在生成可动画几何体方面面临挑战,而绑定技术又缺乏对骨骼创建的精细结构控制。
为了解决这些局限性,论文提出了一个全新框架Stroke3D,它能够直接从用户输入(2D绘制的笔触和描述性文本提示)生成绑定网格。方法开创了一种两阶段流程,将生成过程分为:可控骨骼生成,采用骨骼图VAE(Sk-VAE)将骨骼的图结构编码到一个潜在空间中,其中骨骼图DiT(Sk-DiT)生成骨骼嵌入。生成过程同时依赖于文本的语义信息和2D笔触的显式结构控制,VAE的解码器重建最终的高质量3D骨骼;通过TextuRig和SKA-DPO增强网格合成,在此基础上合成纹理网格。在此阶段,首先使用TextuRig数据集(一个包含纹理和绑定网格以及说明文字的数据集,来自Objaverse-XL)扩充现有骨骼到网格模型的训练数据,从而增强其性能。此外采用基于骨骼-网格对齐评分的偏好优化策略SKA-DPO,以进一步提高几何保真度。该框架为创建可直接用于动画的3D内容提供了更直观的工作流程。
方法概述
Stroke3D 方法
Stroke3D概述。在训练阶段,Sk-VAE将骨架图编码到潜在空间中。随后,训练Sk-DiT以生成这些潜在嵌入,并以相应的2D笔画和文本提示为条件。使用TextuRig进行训练后,我们利用SKA-DPO,通过骨架网格对齐奖励信号进一步优化SKDream。右侧展示了模型的实现细节。
骨骼生成
将骨架生成结果与RigNet、SKDream、MagicArticulate和UniRig进行了比较。

网格生成
将网格生成结果与SKDream进行比较,并展示了SKA-DPO和TextuRig的消融研究。

TextuRig 数据集
对用于网格生成的TextuRig数据集进行分析。

结论
Stroke3D首次实现了从2D草图和文本到可直接动画的3D资产的端到端生成,其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了新思路。该工作不仅贡献了高质量的TextuRig数据集,还提出了创新的SKA-DPO优化策略,显著提升了生成几何质量。未来,Stroke3D有望在游戏开发、虚拟人创建、影视预可视化等领域发挥巨大作用,让3D创作更接近人类最自然的表达方式——绘画和语言。
相关攻略
3月18日消息,理想汽车创始人李想今晚发文,揭开了全球车企与科技公司投入巨资却进展有限的核心原因,并给出理想的技术破局方案。李想指出,人类在幼年就通过活动建立了完整的3D物理空间认知,这是安全驾驶的
Stroke3D 首次实现了从2D草图和文本到可直接动画的3D资产的端到端生成,其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了新思路。 在3D内容创作领域,传统方法往往受限于专业软件
3月2日消息,在MWC 2026世界移动通信大会上,联想展示了专为3D艺术家和开发者量身定制的概念新品Yoga Book Pro 3D。Yoga Book Pro 3D延续了联想在双屏形态上的探索,
发行商Headup和开发商Sluggerfly宣布, 3D平台游戏《超级肉肉男孩 3D》(Super Meat Boy 3D)将于2026 年登陆Switch 2平台,此前已公布了PlayStati
2月18日消息,春节档观影热潮来袭,不少人买票时总习惯性选影厅正中间位置,认为这是最佳观影位,实则99 9%的人都选错了。数字北京科学中心科普道,观影位置的选择并非一概而论,而是需要结合影厅规格、影
热门专题
热门推荐
猎豹浏览器免安装网页版入口是https: web lemur-browser com,具备界面简洁响应迅速、多端同步无缝衔接、安全防护层级丰富、文档处理能力突出、资源兼容性广泛覆
据昆仑万维集团消息,3月27日下午,昆仑万维(300418 SZ)旗下天工AI顺利举办“世界模型前沿技术与天工AIGC全家桶大模型生态”专场发布会,携Matrix-Game 3 0、SkyReels
本报(chinatimes net cn)记者石飞月 北京报道大模型未来会走向哪里?OpenClaw的爆火似乎为全行业指明了一个方向,但接踵而至的舆论质疑,又让这个答案变得扑朔迷离。3月27日,在2
Anthropic一款尚未发布的新AI模型因数据泄露意外曝光,引发市场对AI颠覆网络安全行业的担忧再度升温,网络安全板块股价周五盘前全线下挫。据《财富》杂志报道,Anthropic正在开发并已开始向
3月初,腾讯在深圳总部楼下设立“龙虾站”,引发千人排队尝鲜。OpenClaw掀起的“全民养虾”热潮,在短短一个月内让更多人看到了AI Agent深入业务场景的价值,随即推动Token调用量大规模增长





