2021年6月,北京智源研究院(BAAI)正式推出了悟道大模型的重大升级——悟道2.0。这一版本被确立为中国首个自主研发的超大规模智能模型系统,其核心目标是在人类级别的复杂认知任务上,实现对当时国际顶尖模型如OpenAI GPT-3和谷歌LaMDA的超越。经过对海量高质量数据的深度训练,悟道2.0在包括自然语言理解、生成在内的九个权威基准测试中均取得了领先成绩,标志着中国在通向通用人工智能(AGI)的探索之路上取得了关键进展。
悟道2.0卓越性能的背后,其核心支撑在于训练数据的巨大规模与严格质量把控。该模型总计接受了高达4.9TB的多模态数据训练,具体数据构成如下:
- 1.2TB高质量中文文本数据
- 2.5TB中文图像与图文对数据
- 1.2TB英文文本数据
在核心技术架构层面,悟道2.0采用了基于开源FastMoE系统进行训练。MoE(混合专家模型)是一种高效的模型设计范式:其工作原理是将复杂的预测问题分解为多个子任务,并为每个子任务训练一个专精的“专家”模型。同时,系统引入一个“门控网络”,负责智能分析输入内容,动态决定调用哪些专家模型进行处理。最终,系统整合这些专家的输出,形成最优预测结果。FastMoE框架的优势在于其卓越的并行计算能力,这使得悟道模型能够高效调度海量专家模型,并实时选择最佳推理路径。例如,当模型接收到一段英文查询时,门控网络会自动路由至最擅长英文语义理解的专家模型来生成精准回应。
如需获取更详细的官方技术报告与最新动态,建议访问北京智源研究院的官方网站介绍页面。
