清华赵昊最新力作：0.4秒完成4D高斯重建，达成自动驾驶仿真SOTA
讯 从工厂、矿区的封闭路段到更加开放的世界，自动驾驶技术面临着来自真实交通环境的多重挑战。变道超车的车辆、突然打开的车门、横穿马路的行人……当自动驾驶系统学着给这些动态对象进行4D建模、重建和再仿真时，大多数解决方案仍然依赖于每场景优化、已知的相机校准或短帧窗口，这使得它们变得缓慢且不实用。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
能否快速、低成本获得动态驾驶场景下的仿真数据，决定了自动驾驶系统在开放世界中的进化速度。在这一背景下，长期深耕神经渲染与仿真技术的赵昊老师团队，提出了首个面向大型动态驾驶场景的无姿态（pose-free) 前馈三维重建框架——DGGT（Driving Gaussian Grounded Transformer）。
赵昊现任清华大学智能产业研究院（AIR）助理教授，智源学者（BAAI Scholar）。他的研究聚焦计算机视觉领域，在三维场景理解、生成式仿真与神经渲染等方向深耕多年，研究成果对于自动驾驶及具身智能仿真具有重要意义。
值得关注的是，赵昊老师将以组委会主席的身份，出席2025年GAIR全球人工智能与机器人大会，并主持世界模型分论坛，分享他在世界模型方面的最新探索。
GAIR大会聚焦人工智能的核心技术、前沿趋势与产业落地，长期吸引来自全球的技术领袖和科研人士。本届大会将于2025年12月12-13日在深圳·博林天瑞喜来登酒店举行，与产业界和学术界的嘉宾共同研讨人工智能的下一步发展。
论文地址：https://arxiv.org/abs/2512.03004
01自动驾驶仿真新 SOTA
DGGT最大的突破，是摆脱了传统方案对逐场景优化、相机标定以及短帧窗口的依赖。通过多头联合预测结构，DGGT只需稀疏、无标定图像，单次前向即可同时输出相机位姿、深度、动态实例与场景表示，重建长序列三维场景。
且该场景表示可直接在Gaussian层面进行编辑，如移除或移动车辆，插入其他场景的新汽车或骑行者等实例。DGGT的高度可编辑性支持扩散精修自动补洞，输出可用于仿真与数据合成。
实验结果表明，DGGT在Waymo上达到了 27.41 PSNR，每场景推断 0.39 秒（3 个视角，20 帧），超过了作为优化基线的EmerNeRF、DeformableGS方案和前馈方法，同时保持了速度竞争力。换言之，DGGT比优化类方案更迅速，比前馈方案更保真。
同样令人惊喜的还有泛化性。DGGT将相机位姿从输入转为模型输出，通过端到端预测内外参并融入场景表示的方法，打破了跨数据集部署的校准壁垒。DGGT模型在 Waymo 上训练，却能在 nuScenes 与 Argoverse2 上实现强劲的零样本泛化，在关键感知指标上相比STORM提升超过50%。如在nuScenes上LPIPS从0.394降至0.152（下降 61.4%），在 Argoverse2上从0.326降至0.155（下降52.5%）。
值得注意的是，研究团队在nuScenes 和 Argoverse2 数据集上分别进行了零样本和从头训练两种设置的实验评估。在这两种情况下，DGGT均表现出了SOTA级性能。
此外，系统通过lifespan head建模场景随时间的外观演变，并配合单步扩散精修，可有效抑制运动插值伪影，提升时空一致性与渲染自然度。在保证仿真质量的前提下，DGGT为自动驾驶仿真推开了一扇迈向高速、可扩展新阶段的大门。
02一次前向，完整 4D 场景
DGGT的核心设计理念，是一次性预测完整的4D场景状态，同时清晰地将静态背景与动态实体分离，并保持时间上的连贯性。
具体来说，研究团队将相机位姿从输入转为模型输出，每帧生成像素对齐的高斯映射，并添加一个寿命参数，随时间调制可见性以捕捉变化的外观，随后使用动态头生成密集动态映射，使用运动头估计三维运动，用于稀疏时间戳间插值，同时插入单步扩散细化，抑制重影/遮蔽伪影并恢复细节。
这产生了单遍、无姿态的算法，能够从未摆拍图像重建动态驱动场景，自然支持高斯层级的实例级编辑。
在系统结构上，DGGT 采用 ViT 编码器融合 DINO 先验，通过交替注意力得到共享特征，再由多个预测头并行输出：
相机头估计每一帧内外参数；
Gaussian 头给出逐像素颜色/位置/旋转/尺度/不透明度参数；
lifespan 头控制时间可见度；
动态头输出运动遮罩；
运动头显式估计动态物体的三维位移；
天空头稳定建模远景背景。
03动态驾驶场景仿真新路径
长期以来，高精度标定设备和固定路线采集方案，一直限制着动态驾驶场景训练数据的成本和采集效率，DGGT则提出了一种规避上述限制的全新方案。
将相机位姿转为模型输出的设计使DGGT具有了在真实、开放世界中的高度灵活性，同时其多头联合预测结构支持任意数量的输入视图和长序列处理，克服了现有前馈方法在时序扩展性上的瓶颈，为处理大规模自动驾驶日志提供了可行路径。
更可贵的是，DGGT能在Waymo、nuScenes等大规模数据集上实现SOTA级重建质量的同时，仍然保持亚秒级的推理速度。这种既快又好的特性，平衡满足了工业界对速度与质量的双重需求，使其具有作为实时的预处理模块，集成到自动驾驶系统的训练、仿真与评估流程中的潜力。
总体来看，0.4秒即可完成支持实例级编辑的4D重建，速度与质量兼顾的动态场景建模，以及对跨数据集泛化瓶颈的突破，无一不意味着低成本生成动态驾驶场景训练数据的新范式，已经距离我们更近一步。
(公众号：)文章
原创文章，未经授权禁止转载。详情见转载须知。
热门专题
热门推荐
本文介绍了2026年主流的USDT交易软件，重点分析了币安、欧易和火币三大平台的特点与优势。内容涵盖平台安全性、交易功能、用户体验及费用结构，旨在为不同需求的用户提供选择参考。文中强调选择平台时应综合考虑资产安全、操作便捷性和交易成本，并提醒注意风险管理与合规操作。
本文介绍了USDT交易的基本概念与主流平台选择。USDT作为稳定币，其交易主要通过加密货币交易所进行。选择平台时需综合考虑安全性、流动性、手续费和用户体验。文中列举了当前市场认可度较高的几类交易平台，并提醒用户注意资产安全与合规操作，建议根据自身需求谨慎选择。
哥本哈根大学计算机科学系于2026年3月发布了一项具有里程碑意义的研究（论文编号arXiv:2603 12935v1），揭示了当前主流AI推荐系统可能潜藏的社会偏见风险。这项研究同时指出，一种高效且低成本的解决方案——提示工程，或许能成为破解这一难题的关键。 当您使用求职平台或新闻资讯应用时，背后的
照片模糊了、雨滴遮挡了画面、夜晚拍摄噪点过多……这些常见的图像质量问题，往往让人束手无策。传统的解决方案，就像请来一群专科医生：去模糊、去噪点、去雨滴，各有各的专长，但每个“医生”都需要海量的“临床经验”——动辄数百万张训练图片，才能达到可用的修复水平。 然而，一项由香港科技大学、哈尔滨工业大学深圳
这项由英属哥伦比亚大学（UBC）与Vector人工智能研究院联合主导的前沿研究，于2026年3月以预印本论文（arXiv:2603 12634v1）形式发布。研究团队创新性地提出了“预算感知价值树搜索”（Budget-Aware Value Tree Search，简称BA VT）框架，旨在攻克一个