2021年6月，北京智源人工智能研究院正式推出悟道2.0大规模预训练模型。作为中国首个超大规模智能模型系统，悟道2.0的核心目标是在语言理解与生成能力上实现突破，旨在构建具备人类层面思维能力的AI模型，其综合性能对标并致力于超越国际领先的GPT-3、LaMDA等前沿模型。
为实现这一宏伟目标，悟道2.0进行了大规模、高质量的多模态数据训练。模型总计处理了高达4.9TB的清洗后数据集，覆盖了文本与图像两大模态，具体数据构成如下：
- 1.2TB高质量中文文本语料
- 2.5TB中文图文配对数据
- 1.2TB英文文本训练数据
凭借如此大规模的中英文多模态训练，悟道2.0在多项权威基准测试中取得了领先的成果，部分能力达到了当时的SOTA水平。业界分析认为，这种全面的能力提升使其在通往通用人工智能的道路上迈出了坚实一步，在复杂推理和跨模态理解方面展现出巨大潜力。
那么，悟道2.0是如何高效处理如此庞杂的多模态任务的呢？其核心技术支撑是混合专家系统。该模型的训练基于高性能开源框架FastMoE实现。MoE的工作原理十分精巧：它将一个复杂的预测问题分解为多个子问题，并为每个子问题训练一个专精的“专家”模型。同时，系统训练一个智能“门控网络”，该网络根据输入内容的具体特征，动态决定调用哪些专家模型，并整合各位专家的输出，形成最终预测结果。
FastMoE框架的核心优势在于其卓越的并行化能力。它使得悟道2.0能够同时咨询多个专家模型，并快速选择最优的推理路径。例如，当输入为英文查询时，门控网络会自动优先调用在英文语义理解和生成上训练有素的专家模型来主导响应。这种动态、自适应的任务分发与集成机制，正是超大规模模型实现高效率与高精度平衡的关键技术所在。
