ChatGPT数据集之谜训练数据来源与结构深度解析_AI热点日报

对GPT-1到Gopher的大型语言模型训练数据集系统分析显示，维基百科和CommonCrawl是核心来源，但多数实验室未公开完整细节，依赖二级资料与合理假设，数据集文档透明性亟待提升，建议加强公开规范以促进可复现性。

# 大型语言模型训练数据集深度剖析：从GPT-1到Gopher的全面指南

随着通用人工智能（AGI）的探索不断深入，预训练Transformer语言模型被普遍认为是通往AGI的重要基石。然而，尽管模型训练数据集日益庞大，绝大多数研究实验室在公开数据集细节（如规模、token数量、内容构成）方面做得远远不够。本教程整合了2018年至2022年初从GPT-1到Gopher等主流语言模型的数据集信息，涵盖维基百科、Common Crawl等核心数据源，旨在为您提供一个清晰、详尽的参考框架。

1. 概述

自2018年以来，大型语言模型（LLM）的开发与使用呈现爆炸式增长。例如，2021年OpenAI宣布其GPT-3模型被超过300个应用程序使用，平均每天生成45亿个词。然而，斯坦福大学的研究人员坦言，我们对这些模型的内部机制、失效模式以及突现性（emergent properties）仍缺乏深入理解。

本文将综合整理现代大型语言模型的训练数据集。由于原始文献大多不对外公开，我们主要通过二级、三级研究资料进行整合，必要时采用合理假设推算最终结果。在文中，我们将原始论文中明确的细节（如token数量、数据集大小）标记为公开数据（加粗），而通过推算得到的细节则标记为确定数据（斜体）。

图 1. 主要数据集大小的可视化汇总（未加权大小，以GB为单位）

模型数据集主要分为六类：

维基百科：免费的多语言协作在线百科全书，文本经过严格引用，涵盖多种语言和领域。
书籍：小说和非小说类书籍，用于训练故事讲述能力，典型来源包括Project Gutenberg和Smashwords（Toronto BookCorpus）。
杂志期刊：预印本和已发表论文，提供严谨、有条理的学术内容，如ArXiv、PubMed。
Reddit链接：WebText数据集，从Reddit出站链接中爬取（至少三个赞），代表流行内容。
Common Crawl：2008年至今的大型网页抓取数据集，通常使用其纯英文过滤版（C4）。
其他数据集：包括GitHub代码、StackExchange论坛、视频字幕等。

表 1. 主要数据集大小汇总（以GB为单位） 公开数据以粗体表示，确定数据以斜体表示。仅包含原始训练数据集大小。

2. 常用数据集分析

2019年以来，大多数基于Transformer的大型语言模型（LLM）依赖英文维基百科和Common Crawl。以下基于Jesse Dodge和AllenAI（AI2）团队的分析，按类别对英文维基百科和C4数据集进行概述。

2.1 维基百科（英文版）分析

下面按类别列出了维基百科的详细信息（基于2015年抽样的1001篇随机文章）。假设一个11.4GB、经过清理和过滤的维基百科英文版包含30亿token，可确定类别大小和token数量。

表 2. 英文维基百科数据集类别 公开数据以粗体表示，确定数据以斜体表示。

2.2 Common Crawl分析

基于AllenAI（AI2）的C4论文，可确定过滤后的英文C4数据集（305GB，1560亿token）各域的token数和百分比。

表 3. C4：前23个域（不包括维基百科） 公开数据以粗体表示，确定数据以斜体表示。