本次查询：DiT
中文解释：扩散变换器
常见场景：DiT广泛应用于AI图像生成 / 视频生成 / 3D内容生成等领域 / 是当前主流生成式AI模型的核心架构之一。
一句话解释
DiT（Diffusion Transformer）是一种用Transformer替换传统U-Net的扩散模型，通过将图像切分成小块并利用自注意力机制处理噪声预测，从而实现更高质量和更强扩展性的生成效果。
为什么会被关注
DiT的出现打破了扩散模型长期依赖U-Net的格局，让生成质量随着模型参数量和计算量的增加持续提升，展现出类似大语言模型的“规模法则”。
它被OpenAI的Sora视频生成模型采用，直接推动了AI视频生成从实验走向实用，引发了行业对Transformer架构在生成领域潜力的重新评估。
核心逻辑
DiT将输入图像切分为固定大小的Patch（类似ViT），然后通过Transformer编码器逐步去噪。每个步骤中，模型会预测当前噪声的增量，最终还原出清晰图像。
相比于U-Net的卷积结构，Transformer的自注意力机制能更好地捕捉全局依赖关系，且更适于大规模并行训练，使得DiT在相同计算量下生成细节更丰富、一致性更强的结果。
常见场景
AI图像生成：DiT可替代Stable Diffusion中的U-Net，生成高分辨率且风格一致的图片，尤其擅长复杂构图和纹理细节。
AI视频生成：Sora等模型基于DiT架构处理时间序列，能够生成流畅的短视频，保持物体在帧间的连续性和一致性。
3D内容生成：将DiT与NeRF结合，可从文本或图片直接生成高品质3D场景，应用于虚拟现实和游戏开发。
容易混淆的点
DiT不是“DIT”或“Dit”，而是“Diffusion Transformer”的缩写，注意与Google的“DiT”（Dense Image Transformer）等其他同名技术区分。
DiT和Stable Diffusion都基于扩散过程，但DiT用Transformer替代U-Net，不表示所有扩散模型都需改用Transformer；U-Net在中小规模任务中仍有成本和速度优势。
不要把DiT与纯Transformer生成模型（如GPT-4的图像生成能力）混为一谈，DiT专为噪声预测而设计，遵循去噪扩散步骤，而非自回归生成。