说到大模型，很多人脑子里蹦出来的第一反应可能是OpenAI、ChatGPT、DeepSeek，甚至那些能跳舞翻跟头的机器人。再深入一点，还能说出训练和推理这两个词。但坦白讲，你是不是也有种感觉——身边所有信息都在鼓吹大模型正在改变世界，恍惚间好像自己不学一下，就要被时代抛弃了？
有这种感觉就对了。曾经也有过这种焦虑，所以在某个瞬间决定躬身入局，弄清楚这些概念背后的门道。于是有了这篇文章。搞懂这8个核心概念，就已经超过了很多人；如果能明白它们背后的原理，那跟人聊起来时底气也足了不少，算不上“砖家”，至少不会心里发虚。
专业词汇读起来确实没娱乐新闻那么轻松有趣，但沉下心来消化完这些内容，时间一定不会辜负认真的人。下面一起进入正题。
深度学习
先理清一个关系：人工智能（AI）是最大的概念，下面有机器学习，而深度学习则是机器学习的一个重要分支。深度学习研究的是神经网络，准确说是深层神经网络——通过多层网络结构来自动学习数据的特征。
大语言模型能取得今天的成就，深度学习功不可没。正是有了深度学习，模型才能利用海量文本数据进行训练，相比以往的方法，能捕获更深层次的上下文信息和人类语言的细微之处。文本翻译、情感分析、问答等任务上的显著性能提升，都是这么来的。
话说回来，大语言模型的成功离不开两个核心支撑：一方面是Transformer架构，另一方面是用于训练的庞大数据。这两者让模型能够捕捉语言中的各种细微差别、上下文和模式规律，而这些靠手动编码几乎是不可能的。
LLM
大语言模型（LLM），简单说就是用来理解、生成和响应人类语言的一种神经网络。这类模型属于深度神经网络，通过大规模文本数据训练，训练材料甚至可能涵盖了互联网上大部分的公开文本。
不过需要警惕的是，这里说的“理解”能力，其实是指模型能处理和生成看起来连贯且符合语境的文本，并不是真的像人类一样有意识。这是一个经常被误解的点。
名称里的“大”字，既来自训练时用到的庞大数据集，也来自模型本身的参数规模。这类模型通常拥有数百亿甚至数千亿个参数——这些参数是神经网络里的可调整权重，在训练过程中不断被优化，用来预测文本序列中的下一个词。这种“下一单词预测”任务，利用了语言本身具有顺序的特性，让模型能理解上下文、结构和各种关系。
因为能生成文本，大语言模型通常也被归类为生成式人工智能（GenAI）。
目前大多数大模型是用PyTorch等深度学习库实现的。值得注意的是，专为特定领域或任务打造的模型，性能往往优于ChatGPT这类通用模型。比如金融领域的专用模型、医学问答的专用模型。定制的模型还有个重要优势——数据隐私。公司如果不想把敏感数据共享给第三方大语言模型提供商，就可以选择本地部署。这也是企业落地大模型时在探索的方向，本地部署能显著减少延迟、降低服务器成本。
【预训练】与【微调】
大语言模型的构建通常分两个阶段：预训练和微调。
预训练，是利用大规模通用数据对模型进行初步训练，让模型学习数据中的通用特征和规律，为后续任务打好基础。这个阶段的“预”字说明它是训练的初始阶段，数据规模大、覆盖面广，目的是形成全面的语言理解能力。
一个典型例子是ChatGPT的前身GPT-3，它能完成文本补全任务——根据用户的前半句话将句子补全，还展现出有限的少样本学习能力，能在没有大量训练数据的情况下，基于少量示例执行新任务。
请点击图片放大仔细理解其完整过程
预训练后得到的基础模型（foundation model），可以理解为一个通用底座。接下来是微调，在预训练模型基础上，用少量特定领域的标注数据对模型参数进行针对性优化，使其更适配具体任务。常见的微调方式有两种：指令微调和分类任务微调。指令微调用的是“指令-答案”对（比如翻译任务中的原文-正确译文）；分类任务微调用的是文本及其类别标签（比如垃圾邮件/非垃圾邮件）。
Transformer 架构
这个架构是2017年谷歌在论文“Attention Is All You Need”中首次提出的，最初就是为了机器翻译任务（比如英文翻译成德语和法语）。
Transformer架构由两个子模块构成：编码器和解码器。编码器负责处理输入文本，将其编码为数值表示或向量，以捕获输入的上下文信息；解码器接收这些编码向量，并据此生成输出文本。以翻译为例，编码器把源语言编码成向量，解码器解码这些向量生成目标语言。编码器和解码器都由多层构成，各层通过自注意力机制连接。
自注意力机制是Transformer和大语言模型的关键组件，能让模型衡量序列中不同单词或词元之间的相对重要性，从而捕捉长距离依赖关系和上下文信息，生成更连贯相关的输出。
补充一点：并非所有Transformer都是大语言模型，因为Transformer也能用在计算机视觉领域。同样，并非所有大语言模型都基于Transformer，还存在基于循环和卷积架构的大语言模型。
GPT 与 Bert
相比原始Transformer架构，GPT的通用架构更简洁——它只包含解码器部分，没有编码器。正因为GPT这样的解码器模型是通过逐词预测生成文本，它被认为是一种自回归模型，将之前的输出作为未来预测的输入。GPT-3总共有96层Transformer和1750亿个参数。
请点击图片放大仔细理解其完整过程
虽然原始Transformer模型（含编码器和解码器）是为翻译设计的，但GPT模型用更简单但更大的纯解码器架构来预测下一个词，而且也能执行翻译任务。模型能完成未经明确训练的任务，这种现象叫“涌现”，是模型广泛接触多语言数据和各种上下文的自然结果。
GPT擅长处理生成文本的任务，包括机器翻译、文本摘要、小说写作、代码编写等。零样本学习是指没有特定示例也能泛化到未见过的任务，少样本学习则是从用户给的少量示例中进行学习。
而BERT基于原始Transformer的编码器模块构建，训练方法与GPT不同。GPT主要用于生成任务，BERT及其变体则专注于掩码预测——预测给定句子中被掩码的词。
请点击图片放大仔细理解其完整过程
一句话总结：GPT是Transformer的解码器部分，BERT是Transformer的编码器部分。
Token
词元（token）是模型读取文本的基本单位，数据集中的token数量大致等同于文本中单词和标点符号的数量。分词，就是把文本转换为token的过程。
举个例子，预训练GPT-3的云计算费用估计高达460万美元，而它只在3000亿个token上进行了训练。好消息是，很多预训练的大语言模型是开源的，可以当作通用工具，用来写作、摘要和编辑那些未包含在训练数据中的文本。
同时，这些大模型可以用相对较小的数据集对特定任务进行微调，减少计算资源的同时，还能提升特定任务性能。下一单词预测任务采用的是自监督学习模式，本质上是自我标记——不需要专门收集标签，而是利用数据本身的结构，把句子或文档中的下一个词作为预测标签。因为能“动态”创建标签，所以可以用海量的无标注文本数据集来训练大语言模型。
请点击图片放大仔细理解其完整过程
关键点总结
- LLM：基于深度学习构建的超大规模语言模型，能理解、生成自然语言并执行复杂任务。
- Transformer：基于自注意力机制的深度学习架构，是当前主流大模型（如GPT、BERT）的核心框架。
- GPT：基于Transformer的生成式预训练模型，擅长自然语言生成，如文本创作、对话交互。
- BERT：基于Transformer的双向预训练模型，侧重自然语言理解，常用于文本分类、命名实体识别等任务。
- 预训练：在大规模无标注数据上训练模型，使其学习通用语言特征，为下游任务提供基础能力。
- 微调：在预训练模型基础上，用特定任务标注数据进一步训练，使其适配具体应用场景。
- 深度学习：通过多层神经网络自动学习数据特征的机器学习领域，是大模型技术的根基。
- Token：自然语言处理中对文本的最小处理单元，如词语、子词或字符，用于将文本转换为模型可处理的数字序列。