腾讯混元大模型开源：DiT架构，更懂中文，16秒视频生成已成

就在这个夏天，又一家大模型加入了开源的行列——这次是腾讯。

5月14日，腾讯正式开源了其旗下的混元文生图大模型，目前已经在Hugging Face和GitHub平台上发布，完整包含了模型权重、推理代码和算法，供所有企业及个人开发者免费商用。紧接着，在5月17日的腾讯云生成式AI产业应用峰会上，腾讯集团副总裁蒋杰透露，混元大模型经过持续迭代，整体性能已经跻身国内第一梯队，部分中文能力甚至追平了GPT-4。更值得关注的是，在视频生成方面，混元已经支持文生视频、图生视频、图文生视频等多种方式，最长可以生成16秒的视频。在3D生成方面，也已实现文/图生3D，单张图片只需30秒就能生成一个3D模型。

混元文生图模型，是业内首个真正中文原生的DiT架构开源模型。这个DiT，全称是Diffusion Models with Transformer，正是Sora和Stable Diffusion 3所使用的同款架构和关键技术。它本质上是一种基于Transformer的扩散模型。过去，视觉生成主要依赖U-Net架构，但随着模型参数量的增加，Transformer架构的扩散模型展现出了更好的扩展性，在生成质量和效率上都有望实现跨越式提升。腾讯混元，可以说是业界最早一批探索并应用大语言模型结合DiT结构的文生图模型。在DiT架构之上，腾讯混元团队重点优化了模型的长文本理解能力，能够支持最多256个字符的输入，这在行业里是一个相当领先的水平。更厉害的是，他们还创新地在算法层面实现了多轮生图和对话能力。也就是说，你可以在一张已经生成的图片基础上，通过自然语言描述来调整它，直到你满意为止。

目前，混元文生图能力已经在素材创作、商品合成、游戏出图等多个业务和场景中广泛落地。今年初，腾讯广告就基于混元大模型，推出了一站式AI广告创意平台“腾讯广告妙思”，为广告主提供了文生图、图生图、商品背景合成等多种创意工具，实实在在地提升了广告生产和投放效率。

01 为什么选择在这个节点开源？

在混元文生图大模型的发布会后，腾讯文生图负责人芦清林等人接受了媒体群访，详细解答了外界最关心的一系列问题。

问：为什么选择在2024年这个节点做开源？

芦清林： 主要有两个考虑。一方面，我们从去年7月份开始研发，当时业界对DiT架构还知之甚少，我们算是先行者。经过大半年的打磨，模型目前已经达到了一个比较成熟、可以对外分享的阶段。另一方面，我们看到过去基于U-Net架构的路线正在被快速淘汰，大家的目光都转向了DiT。但很多应用开发者，由于过去做了大量基于Stable Diffusion的工作，没有开源的高质量DiT模型，很难快速切换到新一代技术上来。所以，既然我们准备好了，业界又急需，那就干这件事了。以前在小模型时代，开不开源感觉差别不大。但现在是大模型时代，如果不开放一些基础模型出来，独立研究人员甚至一些大型实验室，都很难靠自己做出一个像样的基础模型，因为数据和算力的成本太高了。如果没人把这样的基础模型拿出来，很多后续的优化工作都无法进行。

问：现在开源和闭源的文生图技术能力差距是在拉大还是缩小？

芦清林： 在我们开源之前，差距确实在逐渐拉大。但我们希望通过这次开源，能够让这个差距变小。

问：你们提到要建立社区、公开技术报告，但数据这块会公开吗？

芦清林： 训练数据这块比较复杂。一方面，很多数据来自不同业务场景，我们自己可以用，但分享出去不是我们能决定的。这里面涉及很多版权和法律问题。

问：目前做大模型开源，还有哪些难题需要突破？

芦清林： 最重要的还是得自己把模型做好。如果做出来的东西不够好，拿出来开源意义不大。把模型做得足够好，让大家真正能用起来，这一点至关重要。

问：市面上有种说法是闭源的成本更低、效率更高，您怎么看？另外，这次开源了文生图，后续会开放其他模型吗？

芦清林： 我们过去也主要走闭源路线，提供API接口。但现在发现，开源社区让更多人参与进来，大家一起共建，这件事才能走得更快。我们也确实在考虑后续开源更多模型，比如文生文大模型。不过前提是，得先让大家能真正用起来。

02 DiT会是多模态的“终极答案”吗？

问：介绍一下腾利用DiT的时间线？

张建伟： 我们是从2023年6、7月份开始做DiT的，当时这个方向在业内还非常新。为什么我们敢于尝试？因为它是基于Transformer的生成模型。我们都知道Transformer在ChatGPT这样的大语言模型上已经证明了它的强大，而且它具有极强的扩展能力，天花板非常高。正是基于这种认知，我们认为走Transformer这条路是势在必行的。

问：在采用DiT架构之前，模型的参数量是更大的吗？

李智敏： 是的，我们经历了一个逐步增长的过程。最初用的U-Net模型参数量不到3亿，图像质量不理想。后来逐步增加到十几亿、22亿，甚至30亿，图像质量确实有明显提升。但当参数量超过30亿后，计算量激增，性能提升遇到了瓶颈。为了突破瓶颈，我们选择了DiT架构。刚开始是小步快跑，从7亿、600兆这样的较小参数量开始验证，确认有效后再逐步增加到目前的15亿。这个规模我们认为比较乐观。未来我们还计划把参数量提升到50亿甚至100亿，期望能获得更好的性能。

问：DiT在文生图上的改进我们已经看到了，在文生视频方向上，要追上Sora，除了DiT技术，还需要做什么？

芦清林： 这正是我们今天选择开源的一个核心原因。我记得很清楚，大年初七OpenAI发布Sora，正是因为他们有了一个强大的DiT模型，并在视频维度上做了升级。我们希望能把当前图片的DiT模型开源出来，让业界做视频的同行，能快速地在图片基础之上扩展到视频领域。这是很明确的一个意图，能帮大家节省很多时间。当然，视频比图片维度更多，对计算资源的诉求也更高，这是目前一个比较大的困难。

问：DiT会是多模态版本的答案吗？还有没有其他潜在的架构可能替代它？

张建伟： 我认为Transformer仍然是多模态必须走的道路。它最大的特点是可以把文本、图像、视频等所有媒体信息都统一视为一个“Token”。比如一句话的每个字是Token，一张图的每个区块是Token，一个视频的每个三维片段也是Token。这样，所有模态都可以用同一种表达方式去训练，这是最简单、最理想的路径。DiT可以看作是Transformer在扩散模型中的一种具体实现，但我认为，扩散模型这个部分未来也可能会被更先进的技术替代，比如做到更快、质量更好。

芦清林： 我完全赞同。未来可能会走向一个更简单的自回归网络结构，只看前面的内容生成下一个Token，无论是图片、视频、文本还是音频。如果能全部统一起来，那么未来所有模态的统一就不再是梦。但为什么现在还不是？因为算力和数据支撑还不够，还需要一定的技术发展，配套能力足够强大时，这个完整的范式才能真正落地。

问：视频用DiT很好理解，那文生图从Stable Diffusion改成DiT，具体价值在哪？

芦清林： 其实道理是一样的。当我们想生成更高质量、更大尺寸的图片时，DiT因为更好的扩展性，能力更强，天花板更高。包括现在国外头部公司，图片和视频都是用一个模型输出的。

问：可以理解成它能生成质量更高的图片？

芦清林： 不仅仅是质量，它的语义表达能力会更强。因为参数量可以做得很大，能容纳的信息量就更多。

问：DiT模型是否更适合几十亿参数规模的训练？参数量较小的话，会不会影响视频处理效果？

芦清林： 恰恰相反，它的扩展空间非常大，天花板更高。所以无论是做图片还是视频，它都能有更好的表现，参数量的增加会带来正向效果。

问：一般认为参数量较小的模型消耗算力更小，这种理解对吗？15亿或更大规模的模型，更适合在PC上应用吗？

芦清林： 可以从两个层面来看。从参数量和算力消耗来看，把一个大参数模型缩小并不难，可以通过牺牲效果来换取速度。但如何让一个小规模模型在扩展时发挥良好作用，目前还在探索阶段。而把大参数模型通过压缩适配到PC等平台，路径相对更清晰一些。

03 如何定义“最强”？

问：你们怎么定义在性能指标上“最强”？

芦清林： 无非就是别人没有的我们有，别人有的我们更好。先说“别人没有的”：目前市面上没有一个中文原生的开源DiT模型。我们在中文理解和表达上，包括数学等方面做了大量工作，让模型在这方面能力很强。这一点，目前业界没有，所以比较好说明。第二点，如何证明在其他维度上也更好？我们会从近20个维度去评估，包括语义理解、细节数量表达、颜色表达、空间位置表达等。从综合维度来看，我们没有明显的短板，并且很多维度有优势，综合评分自然就高了。

问：刚才的评分显示，与最顶尖模型还有差距，后续如何追赶？训练数据怎么迭代？

芦清林： 中文语料相比英文确实有天然劣势。英文的语料非常丰富且质量更高。我们一直在补充中文数据：从去年的5-6亿图文对，今年已经扩充到20亿，未来还会持续扩充。同时，我们也在做更精准的筛选，把更高质量的数据挑出来。另一方面，模型本身也在迭代，目前是15亿参数量，我们已经在尝试更大的模型，只是这个耗费的资源更多，还没完全准备好。

问：中文语料从哪儿来？

芦清林： 这部分我们费了很大力气。包括清洗开源数据，难点在于你能不能清洗好、标注好。另外，我们内部也有很多有版权的素材，比如设计师、游戏等业务提供的。

问：腾讯对AI生成的版权怎么看？

芦清林： 无论是法律层面还是管理层面，我们都会完全遵循。

问：其他一些公司是先推出产品再收集用户反馈做优化，而腾讯似乎是先打磨技术底层。这两种思路的差异是什么？

芦清林： 其实没有特别大的差异。腾讯内部业务场景非常多，游戏、广告、社交、内容、云，几乎外部能感受到的它都有。所以无论是内部打磨还是外部打磨，对基础能力来说差别不大。因为用户反馈——是点踩还是点赞、哪里有问题——对底层技术的优化来说，来自内部产品还是外部客户，本质是一样的。

04 如何在具体场景中挖掘需求？

问：在游戏、广告、社交等场景上，你们遇到了哪些具体问题？是如何挖掘场景需求的？

芦清林： 这三个场景完全不同，所以我们有专门的团队针对每个场景进行研究和应用开发。

• 社交领域： 通常采用智能体形式，包装成小型的互动玩法来促进传播。比如可以用你的照片训练生成新的写真形象，核心是智能体的互动性。
• 游戏领域： 制作流程极其复杂，从概念设计到3D模型，涉及上百个步骤。每个步骤对视觉和图像生成的需求都不同，我们需要为每个步骤定制化技术解决方案，以提高生产效率。
• 广告领域： 最注重效果。广告主关心的不是图美不美，而是点击率和转化率。所以我们设计素材时，必须紧密结合广告效果数据来生成更具吸引力和转化潜力的图片。

问：文生图算力消耗很大，现在落地应用很多。你觉得它的商业化路径会比其他方向更清晰吗？

芦清林： 应用点确实很多，但说到“商业化路径清晰”，我不敢苟同。目前还没有看到一个极其成功的AI原生产品能展现出很强的商业化能力。大家都在摸索阶段。很多小产品玩起来很有趣、也很火，但这不等于有很强的商业化能力。我们还在摸着石头过河。

问：视频生成大模型的成熟度现在怎么样？

芦清林： 肯定不如语言和文生图。视频最大的问题是生成高质量、有质感的视频：一方面生成时间很短，另一方面分辨率不足，导致很多场景用不起来。还有一个大问题是计算资源消耗巨大，包括现在的Sora，生成一个视频要分钟级，良品率也不高。这是目前无法广泛应用的根本原因。

问：很多人说AI生图有“一言假”，细节很漂亮但缺乏逻辑性。怎么弥补这种逻辑性，让生图更有“人味儿”？

芦清林： 去年还没有大语言模型时，基本上是暴力生成，模型根据见过的文本和图片去“脑补”。现在我们接入了大语言模型，语言模型和图像生成模型联动后，慢慢有了逻辑思考。比如多轮对话、解释画面、甚至从公众号文章中自动提炼prompt来配图，这些都已经做到了。包括写故事、创作儿童绘本，都可以。

问：不同模态模型联动，有哪些技术挑战？

芦清林： 最大的难点在于不同模态之间是不对齐的。比如视频和音频，你很难让它们一一对应。同一段视频可以配很多不同的音频，它们之间没有一致性。用同一个模型同时生成视频和音频，就会带来很大的混淆。解决模态对齐，这是目前最大的问题。

05 接下来的挑战与方向

问：未来工作方向是什么？

芦清林： 从两个维度回答。一是技术能力提升，比如如何让生成速度更快、质量更好，这是永无止境的追求。二是让模型在更广泛的场景中应用起来。去年与广告做了深入协作，今年会与社交（QQ、企业微信）、游戏等更多业务场景联动。还包括QQ音乐等，都会是我们支持的业务场景。

问：开源之后，文生图模型接下来发展面临的主要挑战是什么？

芦清林： 可能会被大家“挑刺”吧。我也不太确定具体会面临什么挑战。今天公布这个消息，心态也有些忐忑。它一定有不完美的地方，一定会有被人诟病的地方，然后我们去改进。未知本身，可能就是最大的挑战。

问：文生图模型未来的商业化主要路径是什么？行业里应用很火，腾讯有计划推出专门的C端AI应用吗？

芦清林： 这件事并不急迫。腾讯内部业务场景已经非常丰富，我们先服务好内部，给他们带来价值，就已经很好了。至于AI能否作为一个独立的产品实现2C商业化，目前还没有明确的想法。我们也会尝试，但不排斥任何可能性。