01 引言
文本到图像生成技术，近年来无疑是人工智能领域最受关注的赛道之一。无论你是从事科研工作、开发产品，还是单纯对“一句话生成一幅画”这一能力充满好奇，都很难忽视这个方向。最近，快手正式开源了其第三代文生图模型——Kolors，这一消息迅速在技术圈引发热议。毕竟快手在视觉技术方面积累深厚，此次将核心模型对外开放，背后究竟有何深意？实际生成效果又如何？本文将从技术特性、评测数据到代码实操，全面拆解Kolors的各项细节。
02 Kolors模型简介
Kolors 是快手基于Stable Diffusion框架自主研发的大规模文生图模型。训练数据规模极为庞大——涵盖数十亿中英文图文对。除了出色的视觉质量，模型最突出的亮点在于语义理解精准度和文本渲染能力，尤其是在中文内容的理解上投入了大量优化。从富有东方韵味的古风人物，到写实的中国自然景观，Kolors都能较为精准地捕捉语义并生成相应图像。
- 多语言支持：中英文均可，但中文场景下的表现尤为突出。
- 海量数据训练：依托数十亿图文对，保证了良好的泛化能力与生成准确性。
03 模型特点
具体到核心优势，Kolors最吸引人的在于对中文内容的深度理解能力，以及生成质量上的显著突破。
1、中文内容的深度理解
许多模型在处理中文提示词时，常出现字面翻译、文化错位等问题。Kolors在这方面进行了大量针对性优化，能够生成富有中国特色的自然风光与文化元素——例如水墨画、古建筑、传统服饰等，整体风格还原度较高。
2、高质量的图像生成
写实人像：东方面孔特征把握精准，皮肤质感、五官比例均贴合国人的审美偏好。
艺术风格：水墨画、雕塑、油画等多种艺术风格均可驾驭，并非简单叠加滤镜，而是真正理解并再现了风格精髓。
复杂场景：对于“古代市井”“现代都市夜景”等包含多人物、多元素的复杂场景，也能生成层次清晰、细节丰富的画面。
04 评估测试
官方团队搭建了一套包含人工评估与机器评估的全面评测体系，并专门构建了名为KolorsPrompts的评估数据集，覆盖14个垂类、12个挑战维度，共计1000余条提示词。在该基准测试中，Kolors表现极为亮眼，达到了业界领先水平。
1、人工评估
邀请了50位具备图像领域知识的评估人员，从画面质量、图文相关性、整体满意度三个维度进行打分。结果如下——Kolors在整体满意度上位居前列，画面质量更是显著优于其他模型。
| 模型 | 整体满意度平均分 | 画面质量平均分 | 图文相关性平均分 |
|---|---|---|---|
| Adobe-Firefly | 3.03 | 3.46 | 3.84 |
| Stable Diffusion 3 | 3.26 | 3.50 | 4.20 |
| DALL-E 3 | 3.32 | 3.54 | 4.22 |
| Midjourney-v5 | 3.32 | 3.68 | 4.02 |
| Playground-v2.5 | 3.37 | 3.73 | 4.04 |
| Midjourney-v6 | 3.58 | 3.92 | 4.18 |
| Kolors | 3.59 | 3.99 | 4.17 |
2、机器评估
官方采用了MPS（Multi-dimensional Human preference Score）指标进行量化测评。在KolorsPrompts数据集上，各模型得分如下——Kolors再次以10.3分拔得头筹，与人工评估结果一致。
| 模型 | MPS综合得分 |
|---|---|
| Adobe-Firefly | 8.5 |
| Stable Diffusion 3 | 8.9 |
| DALL-E 3 | 9.0 |
| Midjourney-v5 | 9.4 |
| Playground-v2.5 | 9.8 |
| Midjourney-v6 | 10.2 |
| Kolors | 10.3 |
05 代码实践
开源模型的好处之一就是可以亲自动手尝试。以下整理了一套从环境配置到模型推理的完整操作流程。
1、环境要求
确保已安装以下依赖：
- Python 3.8及以上
- PyTorch 1.13.1及以上
- transformers 4.26.1及以上
- 建议CUDA 11.7及以上
2、仓库克隆及依赖安装
1）安装git-lfs
用于下载仓库中的大文件。
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install2）下载Kolors仓库
git clone https://github.com/Kwai-Kolors/Kolors3）配置python环境
conda create --name kolors python=3.8
conda activate kolors4）安装依赖
cd Kolors
pip install -r requirements.txt
python3 setup.py install3、模型下载
可以从Hugging Face或ModelScope下载预训练权重。
modelscope download --model=Kwai-Kolors/Kolors --local_dir weights/Kolors也可以直接用Python代码下载：
from modelscope import snapshot_download
model_dir = snapshot_download('Kwai-Kolors/Kolors')4、模型推理
使用以下命令生成图像：
python3 scripts/sample.py "一张瓢虫的照片，微距，变焦，高质量，电影，拿着一个牌子，写着“可图”"
# 图像会保存到 scripts/outputs/sample_text.jpg5、启动Web demo
python3 scripts/sampleui.py06 结语
Kolors的开源，不仅为AI社区增加了一个可供选择的模型，更标志着中文文生图领域拥有了一个真正具备竞争力的基础架构。从技术指标到实际生成效果，它已经达到甚至超越了许多商业级别的系统。随着社区贡献的持续涌入，相信Kolors在文本到图像生成这条道路上，还将走得更远。
参考资料
- 仓库地址：https://github.com/Kwai-Kolors/Kolors
- 模型地址（Hugging Face）：https://huggingface.co/Kwai-Kolors/Kolors
- 模型地址（ModelScope）：https://www.modelscope.cn/models/Kwai-Kolors/Kolors