零基础入门大语言模型：Transformer工作原理
时间：2026-07-08 15:16
Transformer通过嵌入层将词元转化为高维语义向量，使语义相近的词元在向量空间中彼此接近。其核心是注意力机制，在生成每个词元的表示时，动态计算前文各词元的相关权重，从而捕捉长距离依赖，实现深层的语义理解与转换。
最近正好有空，打算花点时间系统梳理这些年零零散散学到的AI知识，做一次全面的复盘与总结。
如果说上一章我们讨论的是……那么这一章的核心主题就是——
第三章 Transformer 到底是怎么工作的
很多介绍 Transformer 模型的文章，一上来就直接甩出下面这张公式图：
image
看到这个，绝大多数读者估计直接就放弃了。
但说实话，即便完全不懂任何数学公式，也完全不影响我们理解 Transformer 的核心思想。这一章，我们不谈矩阵、向量运算这些复杂概念，而是用现实生活中的一个例子，把模型到底是怎么“思考”一段文字的原理讲清楚。
3.1 从一句话开始
假设我们给模型输入一句话：
然后问：……
对人类来说，答案简单得不能再简单。
当然是：……
但仔细想想，句子里其实根本没有写出：……
那大脑又是怎么知道的？
因为我们自动就会回头去看前面的内容。发现“他”和“小明”关系最紧密，于是自然就理解了“他”指的是谁。
Transformer 做的事情，本质上差不多。它也会回头看，不过不是只看一个词，而是扫描前面的所有 Token（词元）。
3.2 Transformer 为什么叫 Transformer？
很多人第一次看到 Transformer 这个词，第一反应都是：为什么叫这个名字？难道直译过来是“变形金刚”？（开个玩笑哈）
其实 Transformer 的中文翻译通常叫“转换器”。
为什么叫转换器？因为它会不停地把一串 Token，逐步转换成越来越丰富的语义表示。
举个例子。刚开始，模型看到“苹果”，只知道这是一个 Token。经过第一层，它开始知道这属于“水果”。再过几层，它明白这里说的是“苹果公司”。继续往下，上下文里出现了“iPhone”“Mac”“Apple Store”这些词，模型最终就确认了：这里的苹果，不是水果，而是 Apple 公司。
注意，Token 本身没变，变的是模型内部对这个词的理解。所以说，Transformer 真正转换的不是文字，而是每一个 Token 的语义表示。
那它是怎么转换的呢？下面我们一步步拆解。
3.3 第一步：Embedding（词嵌入）
上一节我们提到：
苹果 → Token ID → 31582
很多人会问：模型直接处理 31582 不行吗？
答案是：不行。
为什么？因为 31582 只是个编号，这种编号太短，能存储的信息太少，能表示的语义也极其有限。而且，这些编号之间没有任何语义关系。比如：
苹果 → 31582
香蕉 → 712
北京 → 89231
从数字上看，31582 和 712 之间毫无关联。但我们人类知道，苹果和香蕉都属于水果，它们在语义上应该更接近才对。
所以，模型需要把 Token ID 变成一种新的表示——它就是 Embedding（词向量/嵌入表示）。
你可以把它理解成是给每个 Token 办了一张“身份证”。只不过这张身份证上不是姓名、住址、出生年月这些，而是一大串数字。比如：
苹果 → [0.13, -0.42, 0.78, ……]
在大模型里，一个 Token 可能有几千维这样的数字，它们共同描述了“苹果”这个词在语言世界里的位置。
3.4 为什么叫“向量空间”？
很多文章都会提到“向量空间”，听起来特别抽象。其实你可以把它想象成一张地图（当然，地图最多也就三维空间）。地图上每个 Token 都有自己的坐标。
image
当然，真正的大模型完全是几千维的，但原理一样：距离越近，语义越接近。
模型可能就会发现，“北京”“上海”“广州”在向量空间中离得很近，因为它们都是城市。而“Redis”“MySQL”“Kafka”也很近，因为它们作为技术中间件经常出现在同样的上下文里。
注意，模型并没有人告诉它 Redis 是数据库，它只是自己统计发现 Redis、Kafka、MySQL、Spring Boot 这些词经常一起出现。通过大量的训练和计算，这些 Token 在空间里就慢慢靠拢了。
3.5 Transformer 最重要的一步——Attention（注意力机制）
到这一步，模型已经拥有了每个 Token 的 Embedding。接下来，神奇的事情就发生了。
Transformer 会问：生成当前这个 Token 时，前面的哪些 Token 更重要？
比如：
“小明昨天去了北京。今天他回来了。他是谁？”
准备开始预测时，Transformer 会按 Token 依次计算：
- “小明”重要吗？★★★★★
- “昨天”重要吗？★★
- “北京”重要吗？★★★
- “今天”重要吗？★★
最终模型发现，和“他”关系最大的其实是“小明”。于是模型就知道，“他”大概率指的是小明。
这一步，就是 Transformer 最伟大的发明：Attention（注意力机制）。
很多人认为 Attention 就是让模型注意重点，其实更准确地说，Attention 做的是“动态信息加权”。后面一节，我们专门讲讲 Attention 到底是怎么工作的，以及它为什么彻底改变了自然语言处理的发展方向。
本章小结（第一部分）
这一部分，我们讲了三个关键概念：
- Transformer 并不是直接处理文字，而是处理 Token 的语义表示。
- Embedding 不是普通编号，而是让语义相近的 Token 在高维空间中彼此靠近。
- Transformer 的核心思想不是死记硬背，而是在生成每一个 Token 时，动态决定应该重点关注前文中的哪些 Token。
说明
这里特意没讲 Q、K、V，也没提任何矩阵公式。因为咱们得先理解 Transformer 为什么需要 Embedding、为什么需要 Attention，然后才能去学它们是怎么实现的。
下一章我们开始深入 Transformer 的核心模块之一——Attention，会讲到 Q（Query）、K（Key）、V（Value）。到那时候，它们就不再是三个生硬的字母参数，而是三个非常好理解的角色。
