首页 游戏 软件 资讯 排行榜 专题
首页
AI
ICLR 2026:浙大哈佛Stroke3D实现2D草图到3D模型一键生成

ICLR 2026:浙大哈佛Stroke3D实现2D草图到3D模型一键生成

热心网友
44
转载
2026-03-03

Stroke3D首次实现了从2D草图和文字描述到可直接动画的3D资产的端到端生成,其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了全新思路。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

在3D内容创作领域,传统方法往往受限于专业软件的高门槛和AI生成工具的局限性。然而,浙江大学与哈佛大学的研究团队近期提出的Stroke3D框架,正在引领一场3D创作的新革命!通过简单的2D草图和一句文字描述,Stroke3D就能生成带有完整骨架、纹理清晰、可直接驱动动画的3D网格模型。这一创新不仅大幅降低了3D创作的门槛,更为AR/VR、影视动画和机器人仿真等领域带来了无限可能。

相关链接

论文介绍

绑定3D模型是3D变形和动画的基础。然而,现有的3D生成方法在生成可动画几何体方面面临挑战,而绑定技术又缺乏对骨骼创建的精细结构控制。

为了解决这些局限性,论文提出了一个全新框架Stroke3D,它能够直接从用户输入(2D绘制的笔触和描述性文本提示)生成绑定网格。方法开创了一种两阶段流程,将生成过程分为:可控骨骼生成,采用骨骼图VAE(Sk-VAE)将骨骼的图结构编码到一个潜在空间中,其中骨骼图DiT(Sk-DiT)生成骨骼嵌入。生成过程同时依赖于文本的语义信息和2D笔触的显式结构控制,VAE的解码器重建最终的高质量3D骨骼;通过TextuRig和SKA-DPO增强网格合成,在此基础上合成纹理网格。在此阶段,首先使用TextuRig数据集(一个包含纹理和绑定网格以及说明文字的数据集,来自Objaverse-XL)扩充现有骨骼到网格模型的训练数据,从而增强其性能。此外采用基于骨骼-网格对齐评分的偏好优化策略SKA-DPO,以进一步提高几何保真度。该框架为创建可直接用于动画的3D内容提供了更直观的工作流程。

方法概述

Stroke3D 方法

Stroke3D概述。在训练阶段,Sk-VAE将骨架图编码到潜在空间中。随后,训练Sk-DiT以生成这些潜在嵌入,并以相应的2D笔画和文本提示为条件。使用TextuRig进行训练后,我们利用SKA-DPO,通过骨架网格对齐奖励信号进一步优化SKDream。右侧展示了模型的实现细节。

骨骼生成

将骨架生成结果与RigNet、SKDream、MagicArticulate和UniRig进行了比较。

网格生成

将网格生成结果与SKDream进行比较,并展示了SKA-DPO和TextuRig的消融研究。

TextuRig 数据集

对用于网格生成的TextuRig数据集进行分析。

结论

Stroke3D首次实现了从2D草图和文本到可直接动画的3D资产的端到端生成,其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了新思路。该工作不仅贡献了高质量的TextuRig数据集,还提出了创新的SKA-DPO优化策略,显著提升了生成几何质量。未来,Stroke3D有望在游戏开发、虚拟人创建、影视预可视化等领域发挥巨大作用,让3D创作更接近人类最自然的表达方式——绘画和语言。

来源:https://www.51cto.com/article/837068.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

李想谈自动驾驶:需3D空间认知投入而非千亿补贴
编程语言
李想谈自动驾驶:需3D空间认知投入而非千亿补贴

3月18日消息,理想汽车创始人李想今晚发文,揭开了全球车企与科技公司投入巨资却进展有限的核心原因,并给出理想的技术破局方案。李想指出,人类在幼年就通过活动建立了完整的3D物理空间认知,这是安全驾驶的

热心网友
03.26
ICLR 2026:浙大哈佛Stroke3D实现2D草图到3D模型一键生成
AI
ICLR 2026:浙大哈佛Stroke3D实现2D草图到3D模型一键生成

Stroke3D 首次实现了从2D草图和文本到可直接动画的3D资产的端到端生成,其“骨架先行”的两阶段范式为解决3D生成中的结构控制问题提供了新思路。 在3D内容创作领域,传统方法往往受限于专业软件

热心网友
03.03
联想Yoga Book Pro 3D发布:双OLED屏加持专业3D开发
电脑教程
联想Yoga Book Pro 3D发布:双OLED屏加持专业3D开发

3月2日消息,在MWC 2026世界移动通信大会上,联想展示了专为3D艺术家和开发者量身定制的概念新品Yoga Book Pro 3D。Yoga Book Pro 3D延续了联想在双屏形态上的探索,

热心网友
03.03
Switch2版《超级肉肉男孩3D》同步登陆双平台
游戏攻略
Switch2版《超级肉肉男孩3D》同步登陆双平台

发行商Headup和开发商Sluggerfly宣布, 3D平台游戏《超级肉肉男孩 3D》(Super Meat Boy 3D)将于2026 年登陆Switch 2平台,此前已公布了PlayStati

热心网友
03.01
看电影别只盯中间位置,99.9%的人都选错了
娱乐
看电影别只盯中间位置,99.9%的人都选错了

2月18日消息,春节档观影热潮来袭,不少人买票时总习惯性选影厅正中间位置,认为这是最佳观影位,实则99 9%的人都选错了。数字北京科学中心科普道,观影位置的选择并非一概而论,而是需要结合影厅规格、影

热心网友
02.19

最新APP

你比我猜
你比我猜
休闲益智 03-26
锦绣商铺
锦绣商铺
模拟经营 03-26
儿童画画
儿童画画
休闲益智 03-25
疯狂猜词
疯狂猜词
休闲益智 03-25
诸神皇冠
诸神皇冠
棋牌策略 03-25

热门推荐

猎豹浏览器免安装网页版:在线云端使用入口与教程
电脑教程
猎豹浏览器免安装网页版:在线云端使用入口与教程

猎豹浏览器免安装网页版入口是https: web lemur-browser com,具备界面简洁响应迅速、多端同步无缝衔接、安全防护层级丰富、文档处理能力突出、资源兼容性广泛覆

热心网友
03.27
昆仑万维发布三大世界第一梯队AI模型
科技数码
昆仑万维发布三大世界第一梯队AI模型

据昆仑万维集团消息,3月27日下午,昆仑万维(300418 SZ)旗下天工AI顺利举办“世界模型前沿技术与天工AIGC全家桶大模型生态”专场发布会,携Matrix-Game 3 0、SkyReels

热心网友
03.27
杨植麟、张鹏、夏立雪、罗福莉论道大模型:未来一年趋势前瞻
科技数码
杨植麟、张鹏、夏立雪、罗福莉论道大模型:未来一年趋势前瞻

本报(chinatimes net cn)记者石飞月 北京报道大模型未来会走向哪里?OpenClaw的爆火似乎为全行业指明了一个方向,但接踵而至的舆论质疑,又让这个答案变得扑朔迷离。3月27日,在2

热心网友
03.27
Anthropic核心模型意外泄露,网络安全股面临冲击风险
科技数码
Anthropic核心模型意外泄露,网络安全股面临冲击风险

Anthropic一款尚未发布的新AI模型因数据泄露意外曝光,引发市场对AI颠覆网络安全行业的担忧再度升温,网络安全板块股价周五盘前全线下挫。据《财富》杂志报道,Anthropic正在开发并已开始向

热心网友
03.27
Token经济到来,解析互联网大厂的布局与冷思考
科技数码
Token经济到来,解析互联网大厂的布局与冷思考

3月初,腾讯在深圳总部楼下设立“龙虾站”,引发千人排队尝鲜。OpenClaw掀起的“全民养虾”热潮,在短短一个月内让更多人看到了AI Agent深入业务场景的价值,随即推动Token调用量大规模增长

热心网友
03.27