腾讯混元文生图大模型(又称混元 DiT 模型)现已正式开源其训练代码,并同步发布了 LoRA 与 ControlNet 这两类插件的完整实现。对于关注生成式 AI 落地应用细节的开发者而言,这无疑是一个重要信号——开源生态中又多了一个支持自由微调、具备更强可控性的选择。
首先简要介绍 LoRA。LoRA 是一种高效微调技术,其核心理念是:无需改动整个模型,也无需增加模型体积,仅需少量数据即可训练出具备特定风格的适配版本。换言之,若想为模型注入某种画风或领域知识,无需从头重新训练,借助 LoRA 即可轻松实现。

接下来看 ControlNet。它解决了“如何让生成结果更可控”的问题——允许用户附加额外条件(如边缘图、深度图、人体姿态骨架),从而精细调控图像生成的方向。混元 DiT 本次首发三个 ControlNet 模型,分别对应边缘提取、深度信息提取和人体姿态提取。这意味着,以往需要复杂后期调整的环节,如今通过几个插件即可直接融入生成流程。
值得关注的是,混元 DiT 还发布了一套专属加速库,旨在提升推理效率并降低使用门槛。从当前应用场景来看,素材创作、商品合成、游戏出图等领域均已涌现实际案例。例如腾讯广告妙思平台以及多家媒体机构,都在使用混元 DiT 进行内容生成。
最后附上官方资源入口,方便有需要的开发者直接上手体验。
官网:
https://dit.hunyuan.tencent.com/
代码:
https://github.com/Tencent/HunyuanDiT
模型:
https://huggingface.co/Tencent-Hunyuan/HunyuanDiT
论文:
https://tencent.github.io/HunyuanDiT/asset/Hunyuan_DiT_Tech_Report_05140553.pdf
数据制作流程:
https://github.com/Tencent/HunyuanDiT/blob/main/IndexKits/docs/MakeDataset.md
