8月28日，智谱AI再次放出重磅消息——正式开源了CogVideoX-5B视频生成模型。相较于此前开源的CogVideoX-2B，新模型在视频生成画质与视觉表现上实现了显著提升。官方特别强调了推理性能的优化，大幅降低了运行门槛：CogVideoX-2B可以在GTX 1080Ti这类早期显卡上顺利运行，而CogVideoX-5B则能在RTX 3060这样的桌面端“甜品卡”上流畅工作。换句话说，更多开发者手中的老旧设备也能参与AI视频生成实验了。

CogVideoX本身是一个大规模DiT（扩散Transformer）模型，专为文本生成视频任务而设计。技术层面主要包含两大核心模块：一是3D因果VAE，通过将视频数据压缩到潜在空间，再在时间维度上进行解码，实现高效且连贯的视频重建；二是专家Transformer，它将文本嵌入与视频嵌入融合在一起，采用3D-RoPE作为位置编码，并利用专家自适应层归一化分别处理两种模态的数据，最后通过3D全注意力机制进行时空联合建模。这套架构显著增强了模型对文本语义的理解能力以及生成连续视频的稳定性。

下面是CogVideoX-5B与CogVideoX-2B的详细参数对比，方便大家直观了解升级点：

附上相关资源链接，方便进一步研究或直接上手：

• 代码仓库：https://github.com/THUDM/CogVideo
• 模型下载：https://huggingface.co/THUDM/CogVideoX-5b
• 论文链接：https://arxiv.org/pdf/2408.06072