训练大型语言模型（LLM）的核心要素之一，是高质量的训练数据集。本文深入剖析了从2018年的GPT-1到2022年初的Gopher等著名模型所使用的数据集，旨在帮助有志于开发类ChatGPT模型的团队，更好地理解数据背后的“隐形壁垒”，避开前人踩过的坑。

一、概述：为什么数据集是GPT成功的关键？

ChatGPT的爆火让全球科技界都为之震动。尽管其核心算法Transformer由Google提出，但Google和Meta等巨头在短期内却难以复现ChatGPT的效果。Meta首席AI科学家Yann LeCun一针见血地指出，ChatGPT “只是巧妙的组合而已”。这种“巧妙”就体现在如何将算法、算力、工程和数据这“四颗龙珠”完美地组装起来。

在算力可通过购买获得、工程有开源方案（如OneFlow）的情况下，高质量的训练数据集成为了最大的挑战。OpenAI并未公开ChatGPT的数据集细节，而业界公认中文互联网数据质量参差不齐，这都构成了无形的技术壁垒。

本文作者整理并分析了从2018年到2022年初，从GPT-1到Gopher等多个关键大型语言模型的数据集信息。本教程中的数据分为两类：

• 公开的（Disclosed）： 源于原始论文，以粗体表示。
• 确定的（Determined）： 结合二、三级文献和合理假设推算得出，以斜体表示。

1.1 数据集六大分类

现代语言模型的训练数据主要来自以下六类，每种来源都有其独特的价值：

图1. 主要数据集大小的可视化汇总 (未加权大小，以GB为单位)

• 1.1.1 维基百科 (Wikipedia)

  免费的多语言协作在线百科全书，内容被严格引用，说明性强，是有监督学习的黄金标准。截至2022年4月，英文版有超过640万篇文章和40亿个词。

• 1.1.2 书籍 (Books)

  来源于Project Gutenberg和Smashwords等，用于训练模型的故事讲述能力和叙事逻辑，分为小说和非小说两大类。

• 1.1.3 杂志期刊 (Journals)

  如ArXiv和PubMed等学术文章的预印本和已发表论文，为模型提供严谨、有逻辑和理性的文本基础。

• 1.1.4 Reddit链接 (Reddit Links)

  从社交媒体Reddit的出站链接中爬取的文本（如WebText），通常选取点赞数超过3的链接，代表了当前流行内容的风向标。

• 1.1.5 Common Crawl

  一个大型的、非结构化的网页抓取数据集，是最原始、规模最大的数据来源。研究人员通常会使用其过滤后的英文版（如C4数据集）进行训练。

• 1.1.6 其他数据集

  包括代码数据集（如GitHub）、对话论坛（如StackExchange）和视频字幕等。

二、常用数据集深度分析

2.1 维基百科（英文版）分析

下表基于2015年抽样的1001篇随机文章，维基百科的类别分布稳定。假设一个11.4GB、经过清理过滤的英文维基百科有30亿个token，即可确定各类别的大小和token数。

表2. 英文维基百科数据集类别 (公开数据为粗体，确定数据为斜体)

2.2 Common Crawl (C4) 分析

基于AllenAI (AI2) 的C4论文，可以确定过滤后的英文C4数据集（305GB，1560亿token）中各顶级域的占比。

表3. C4：前23个域（排除维基百科） (公开数据为粗体，确定数据为斜体)

小提示： Common Crawl数据质量参差不齐，包含许多垃圾信息和低质量网站。因此，对数据进行清洗、去重和过滤（如C4所做的）是训练高质量模型的关键一步。

三、主流模型数据集详解

3.1 GPT-1 数据集 (2018年，OpenAI)

OpenAI未公开训练数据集来源和内容，只提到使用了“BooksCorpus”。论文中错误地将‘BookCorpus’拼写为‘BooksCorpus’。

• 主要来源： BookCorpus（来自Smashwords电子书网站），经过多次重构，最终大小为4.6GB。
• 书籍类型分布： 主要为言情、历史、奇幻等，后经重构，移除了“吸血鬼”类别，降低了言情类占比。

表4. BookCorpus书籍类型 (公开数据为粗体，确定数据为斜体)

3.1.1 GPT-1 数据集总结

表5. GPT-1数据集总结 (公开数据为粗体，确定数据为斜体)

3.2 GPT-2 数据集 (2019年，OpenAI)

GPT-2论文阐明了数据集大小但未说明其内容。其模型卡（model card）在GitHub仓库中公开了内容来源。

• 主要来源： WebText（从Reddit抓取），包含4500万个链接的文本子集。
• 数据集大小： 公开的40GB文本，确定token数为150亿左右。

表6. WebText: 前50个域 (公开数据为粗体，确定数据为斜体)

3.2.1 GPT-2 数据集总结

表7. GPT-2数据集总结 (公开数据为粗体，确定数据为斜体)

3.3 GPT-3 数据集 (2020年，OpenAI)

论文明确公开了各数据源的token数，但内容来源和大小尚不清楚（Common Crawl除外）。

• 主要来源： 包含Common Crawl、WebText2、Books1、Books2和Wikipedia。
• 关键争议点： GPT-3研究中最大的谜团是Books1和Books2数据集的具体内容和来源。

表8. GPT-3数据集 (公开数据为粗体，确定数据为斜体)

3.3.1 GPT-3：关于Books1和Books2数据集的分析

Books1 (120亿 token)： 不可能等同于GPT-1的BookCorpus（约13亿 token）。最可能的来源是标准化项目古腾堡语料库（SPGC），它包含约120亿token，大小约为21GB。

Books2 (550亿 token)： 可能与EleutherAI收集的Bibliotik数据集一致。Bibliotik原始大小为100.96GB，token数约250亿，但使用SPGC的“token/字节”比率核算后，更接近550亿token。

3.3.2 GPT-3 数据集总结

表9. GPT-3数据集总结 (公开数据为粗体，确定数据为斜体)

常见问题： 为什么GPT-3要回避Books1和Books2的细节？
回答： 这很可能是一个策略性选择。Books1和Books2可能是从受版权保护的电子书库（如LibGen、Sci-Hub）中获取的。公开这些细节可能会引发法律风险，因此OpenAI选择不披露，这也在一定程度上阻碍了其他团队的复现进程。

3.4 The Pile v1 数据集 (2021年，EleutherAI)

EleutherAI发布的开源数据集，其论文被视为未来数据集文档的黄金标准。该数据集被用于训练GPT-J和GPT-NeoX-20B等模型。

表10. The Pile v1数据集 (公开数据为粗体，确定数据为斜体)

分组数据集详情： 研究人员对数据进行了分组，以更好地理解各部分的组成。例如，“Books”分组包括Books3等。

表11. The Pile v1分组数据集（排除Wikipedia, CC和WebText） (公开数据为粗体，确定数据为斜体)

6.2.1 The Pile v1 数据集总结

表12. Pile v1数据集总结 (公开数据为粗体，确定数据为斜体)

3.5 Megatron-11B 和 RoBERTa 数据集 (2020年，Meta AI)

Megatron-11B使用了与RoBERTa相同的训练数据集。

• 主要来源： BookCorpus (4.6GB), 英文维基百科 (11.4GB), CC-News, OpenWebText, 和 Stories。
• 其中，Stories是来自Common Crawl的特殊文本，用于训练模型的故事推理能力。

7.1.1 Megatron-11B 和 RoBERTa 数据集总结

表13. Megatron-11B 和 RoBERTa 数据集总结 (公开数据为粗体，确定数据为斜体)

3.6 MT-NLG 数据集 (2021年，NVIDIA & Microsoft)

由英伟达和微软联合开发的5300亿参数模型，论文公开了token数但未明确数据集大小。

• 关键点： 其Common Crawl数据来自多个子集（Pile-CC, CC-2020-50, CC-2021-04, RealNews, CC-Stories），总数据量为983.32GB。
• 通过使用The Pile v1论文的数据，可以推算每个子集的大小。

表14. MT-NLG分组数据集 (公开数据为粗体，确定数据为斜体)

8.3.1 MT-NLG 数据集总结

表15. MT-NLG数据集总结 (公开数据为粗体，确定数据为斜体)

3.7 Gopher 数据集 (2021年，DeepMind)

DeepMind发布的2800亿参数模型，论文清楚地说明了数据集的高级token数和大小（MassiveText）。

• 主要来源： MassiveWeb（未来自C4和Common Crawl的精选子集）、书籍、维基百科、新闻、代码等。
• 其数据集大小为10.5TB，是本文中最大的数据集。
• 特别的是，其Books数据集中包含超过500年历史（1500-2008）的书籍。

表16. 公开的Gopher数据集 (MassiveText) (公开数据为粗体，确定数据为斜体)

9.1.1 MassiveWeb 数据集分析

MassiveWeb是MassiveText的子组件，其前20个域分布被披露，使我们可以推算每个域的大小和token数。

表17. MassiveWeb：前20个域 (公开数据为粗体，确定数据为斜体)

9.5.1 Gopher 数据集总结

表19. Gopher数据集总结 (公开数据为粗体，确定数据为斜体)

四、结论与建议

现代大型语言模型的训练数据集规模已突破千兆字节（TB）大关。然而，许多重点研究实验室在披露数据集组成方面做得远远不够。这导致了模型的可解释性差，也增加了后来者复现或改进的难度。

通过对GPT-1到Gopher等关键模型数据集的系统梳理，我们可以得出以下结论：

• 数据是关键壁垒： 即便拥有相同的算法和算力，缺乏“精巧组合”的优质数据仍将导致失败。
• 公开细节是黄金标准： EleutherAI的Pile v1论文是数据文档化的优秀范例，它详细列出了每个子集的来源、大小和token数。
• 复制困难重重： 即使像Google这样拥有深厚技术积累的公司，也难以快速复现ChatGPT，这证明了OpenAI在数据工程上的领先地位。

常见问题解答

问：为什么Google最初的研究没有先做出ChatGPT？
答： 这是一个经典的“优等生陷阱”。Google虽然在Transformer等核心技术上有深厚积累，但ChatGPT的成功在于对RLHF（基于人类反馈的强化学习）和对话式微调等技术的巧妙组合，以及对高质量、大规模数据集的精心构建。简单来说，就是拥有最好的零件，不一定能立刻造出最好的跑车。

问：如果我只有少量计算资源，该怎么开始训练一个对话AI？
答： 绝对不要从零开始训练！建议采用“预训练 + 微调”的策略。你可以在Hugging Face等平台下载开源的预训练模型（如Bloom、LLaMA的早期版本），然后使用你自己整理的高质量、针对性数据（如客服对话、技术文档等）进行微调。这比从零开始训练节省100倍以上的算力。

问：中文互联网的数据质量差，该如何解决？
答： 这是一个现实问题。你可以尝试以下方法：1）人工清洗和标注： 雇佣专业团队对中文语料进行清洗，去除广告、垃圾信息和低质量内容。2）领域精选： 专注于某个垂直领域（如医疗、法律、教育），从该领域的专业网站、论坛、期刊中获取高质量、领域内一致的数据。3）跨语言迁移： 使用高质量的英文数据集预训练模型，然后使用较小的中文数据集进行二次预训练和微调，效果通常优于纯中文数据训练。

附录 A：前50个资源 (基于Wikipedia + CC + WebText组合的模型)

基于本文数据，我们可以对使用Wikipedia + Common Crawl + WebText组合的模型进行资源排名，包括GPT-3、GPT-J、GPT-NeoX-20B、Megatron-11B、RoBERTa和MT-NLG。