阿里万象2.1技术报告深度解析：视频生成模型的数据处理与设计核心

本教程将基于阿里Wan2.1技术报告，为你系统讲解视频生成模型背后的数据处理流程与模型设计要点。内容涵盖从原始数据筛选、高质量视频描述生成，到模型架构、训练优化及推理加速的完整技术链路。无论你是AI从业者、研究人员还是技术爱好者，都能从中获得系统性理解与实用参考。

3 数据处理流程

高质量数据是训练视频生成模型的基础，高效的数据构建流程可显著提升训练效率。报告中详细介绍了Wan模型采用的数据构建流程，遵循高质量、高多样性和大规模三大原则，构建了包含数十亿视频和图像的数据集。

3.1 预训练数据

通义实验室从内部版权资源和公开数据中进行筛选与去重，构建候选数据集。在预训练阶段，通过四步清洗流程筛选出高质量、多样性强的数据，主要包括以下方面：基础维度、视觉质量、运动质量、视觉文字数据。

基础维度

通过多维过滤方式，剔除不适合训练的数据，涵盖：文本检测、美学评估、NSFW评分、水印与logo检测、黑边检测、曝光检测、合成图检测、模糊检测、时长与分辨率。

经过这一阶段，约50%的原始数据被剔除，保留的数据将进入更高层级的语义筛选。

视觉质量

目标是选取符合预训练标准的高质量图像与视频。流程分为两步：

• 聚类：将数据划分为100个子集，确保长尾数据得以保留；
• 评分：人工打分后训练评估模型，对整个数据集进行评分，指导后续筛选。

运动质量

用于选取自然、完整、运动明显的视频，剔除静态或抖动视频。共分为六类：

• 最优运动：运动显著且平滑，优先采样；
• 中等质量运动：存在轻微遮挡或多个主体，用于保持多样性；
• 静态视频：如访谈类，质量高但运动信息少，采样比例较低；
• 摄像机驱动运动：如航拍，仅摄像头移动，采样优先级低；
• 低质量运动：遮挡严重、主体不清晰，直接剔除；
• 抖动画面：因抖动导致模糊，完全剔除。

视觉文字数据

为提升文字生成能力，采用双分支处理方案：

• 合成数据：在纯白背景上合成大量中文字符图像；
• 真实数据：从真实图像和视频中提取含文字图像，使用多种OCR模型识别中英文，结合Qwen2-VL模型生成自然描述，构建大规模图文对。

该流程通过融合合成与真实数据，显著提升了视频中文字生成的准确性与真实感，能够有效生成罕见文字内容。