清华VAST新范式实现3D生成智能算力分配 SIGGRAPH 2026
当前主流的3D生成技术路线,普遍面临一个相似的挑战:模型能够生成物体,但生成结果的复杂度往往是固定的,缺乏根据内容自适应的灵活性。图形学专家关注如何将有限的计算资源精准投入到关键区域,而游戏、XR等行业的实践者则期望同一个3D资产能拥有从高质量到轻量化的多级版本,无需重复制作。

这些需求背后,共同指向一个核心矛盾:现有的3D生成方法,普遍缺乏对“资源分配”的智能控制能力。以流行的3D高斯表示为例,模型通常无法自主决定在哪些区域需要密集分布高斯球,哪些区域可以稀疏处理。这导致生成结果更像一个固定模板,而非能根据物体结构复杂度自适应调整的智能表示。
针对这一难题,SIGGRAPH 2026收录的论文《Generative 3D Gaussians with Learned Density Control》提出了一种创新解决方案。
- 论文:《Generative 3D Gaussians with Learned Density Control》
- 论文链接:https://arxiv.org/abs/2605.16355
这项由VAST与清华大学合作的研究,引入了一种名为Density-Sampled Gaussians(DeG)的新型3D表示范式。其核心目标不是生成固定数量的高斯球,而是让模型学会一种“智能采样策略”:直接从渲染误差中学习,在细节复杂的区域(如边缘、纹理)放置更多高斯球,在简单平坦的区域则减少放置。这标志着3D生成从“静态输出”向“可伸缩智能表示”的关键转变。
从启发式规则到可学习的密度策略
3D高斯表示因其在画质与效率间的平衡而备受关注。传统优化过程依赖于一套离散的、启发式的“密集化与稀疏化”规则:在拟合不佳的区域补充高斯球,删除贡献小的球体。这套方法对单个物体拟合有效,但其不可微的特性,使其难以被集成到需要端到端训练的生成式模型中。
因此,现有生成方法多采用折衷的固定结构,例如将高斯球绑定在体素网格上,或为每个像素预测固定数量。这虽然简化了训练,却牺牲了3D高斯最核心的灵活性与自适应能力。
DeG核心:将坐标回归转化为概率密度采样
DeG的核心创新在于,它将高斯球中心位置的预测,从一个固定的回归任务,转变为一个从可学习的3D概率密度分布中采样的问题。模型首先学习整个3D空间中“何处值得放置高斯球”的密度图,推理时再根据需求从中采样。这一转变带来了两大关键能力:
能力一:支持任意数量采样,实现按需伸缩
由于学习的是分布,同一个DeG模型可以根据不同的部署场景(如移动端预览、高保真渲染)采样不同数量的高斯球,无需为每种分辨率重新训练模型。这为3D资产的实际应用提供了极大的灵活性,真正实现了“一份模型,多种精度”。
能力二:实现非均匀智能采样,优化资源分配
DeG的采样不是均匀的。模型在训练中会根据渲染重构损失,自动将更多的采样“预算”分配给几何复杂、纹理丰富、对最终画质影响大的区域。这体现了“好钢用在刀刃上”的智能,在总预算有限时尤其关键。
那么,这种空间智能密度控制的策略是如何学会的呢?
策略学习:从渲染误差反推采样价值
直接通过渲染损失反向传播来优化采样分布是困难的,因为采样操作本身不可微。DeG论文的关键突破在于,它借鉴了强化学习中策略梯度的思想,构造了一个名为“渲染损失贡献梯度”的可训练信号。
其核心思想直观而有效:评估一个被采样到的高斯球的价值,可以通过观察“如果去掉它,渲染损失会如何变化”来判断。如果去掉后损失显著增加,说明该高斯球很重要,应提高类似位置未来的采样概率;反之,则降低其概率。
论文从数学上严谨推导了这一梯度,并将其实现为一种高效的计算方法(针对L1损失),避免了昂贵的“留一法”重复渲染。至此,传统依赖人工规则的密度控制,被转化为了一个可微、可学习、可端到端优化的现代机器学习问题。
应用价值:从静态资产到动态“活表示”
DeG为3D内容创作与部署带来了切实的应用优势:
1. 真正的按预算伸缩能力: 同一对象可自然衍生出不同规模的版本,轻松适配从移动端实时交互到影视级离线的全链路需求,无需后处理压缩或重新训练。
2. 理解局部复杂度的智能: 在总高斯球数量有限时,DeG能智能地将容量集中在关键细节上。论文实验表明,在低预算区间,其优势尤为明显,能以更少的高斯球达到同等甚至更好的视觉质量。
这项技术对多个领域意义深远:
- 游戏与XR: 轻松生成适配不同设备性能的3D资产,简化多平台适配流程。
- 3D内容平台: 自动提供多档位质量(类似LOD),提升资产分发与加载效率。
- AIGC工作流: 提供可调、易部署的3D表示,而不仅是固定输出。
- 数字孪生与仿真: 将有限算力优先用于影响感知与决策的关键区域。
深远影响:重新思考3D内容的本质
DeG的研究指向了一个更根本的方向:未来的3D生成模型,不仅应负责“生成什么”,还应学会“如何高效地表示”。 它让3D表示从静态、固定的输出,转变为一种能根据设备、任务和预算动态调整的“活表示”。
这促使我们重新审视一个基础问题:一个物体的高精度模型和低精度模型,究竟是两份独立资产,还是同一物体在不同资源约束下的两种状态?DeG暗示了后一种可能。未来,3D生成学到的将不仅是物体的外观,还包括其在不同场景下的最优表示密度。届时,高模、低模、移动端版本或许将不再是割裂的资产,而成为同一对象连续谱上的不同状态。这或许是3D AIGC从实验室走向大规模实际应用的关键一步。
相关攻略
当前主流的3D生成技术路线,普遍面临一个相似的挑战:模型能够生成物体,但生成结果的复杂度往往是固定的,缺乏根据内容自适应的灵活性。图形学专家关注如何将有限的计算资源精准投入到关键区域,而游戏、XR等行业的实践者则期望同一个3D资产能拥有从高质量到轻量化的多级版本,无需重复制作。 这些需求背后,共同指
说到提升网站在社交媒体上的分享效果,一张抓人眼球的预览卡片往往就是第一块敲门砖。今天,我们就来聊一个专精于此的实用资源。 什么是Open Graph Examples? 简单来说,Open Graph Examples 可以看作你的“社交卡片设计智库”。这个网站集结了丰富的建议、实战内容和工具,核心
Graph Maker产品介绍 数据可视化这件事,从技术活演变成日常技能,只差一个好的工具。Graph Maker正是为此而生的利器,它能借力人工智能,帮你把一堆枯燥的数字快速变成直观、有说服力图表。无论是琢磨企业动向、做市场调研,还是推进学术研究,它都能让数据“说话”的过程变得格外顺畅。 让数据开
自然语言规划的模糊性让仓库生成屡屡翻车。微软 RPG 用图谱取代文字,节点代表功能与文件,边标注依赖与接口。基准显示,功能创新率 11-13%,代码通过率 69 7%,远超 Claude Code,
向量数据库近年水花激荡。高效检索高维向量数据,对大模型训练和推理至关重要。2024 年大模型狂奔以来,向量检索——RAG(检索增强生成)技术中的一个重要组成部分——也成为数据库技术的核心焦点。但随着
热门专题
热门推荐
访问币安Binance时,确保通过官方网站登录是保护您数字资产安全的首要步骤。网络中充斥着大量仿冒网站,它们旨在窃取您的账户信息。因此,使用可靠的官方渠道直接访问至关重要。 币安binance官网入口: 币安Binance官方APP下载: 如何辨别币安官方网站 第一步,也是最关键的一步:仔细核对浏览
为了确保您的数字资产安全,请务必通过币安Binance官方认证渠道访问 直接进入安全平台,是防范网络钓鱼、保障账户安全最关键的一步。这个简单的习惯,能有效将恶意网站隔绝在外,防止它们窃取您的个人信息与资产,为您的每一次交易保驾护航。 币安binance官网入口: 币安Binance官方APP下载:
欧易OKX官方安卓APPv6 142 0版本提供安全下载与安装指引,确保用户获取正版应用。指南详细说明了从官方渠道下载安装包到完成安装的全过程,帮助用户避免潜在风险,保障资产安全。
欧易OKX官方网站及移动应用程序提供了安全的官方下载渠道。用户可通过指定链接直接访问官网,或获取安卓与苹果iOS系统的APP安装包。为确保资产安全,务必通过官方渠道下载,避免使用非官方来源。
节假日期间ClawBot话术切换慢,通常因专属提示词模板缺失、活动参数未注入或策略未绑定活动ID所致。可通过四步解决:配置节日专属模板并热生效;绑定活动ID与话术策略;注入实时促销参数;最后进行灰度测试与数据优化,确保话术准确高效。





