大模型的智能究竟从何而来？这大概是当前AI领域最令人着迷的问题之一。从ChatGPT引爆全球关注，到DeepSeek以超高性能和开源姿态横空出世，通用人工智能的轮廓似乎正在变得越发清晰。追根究底，机器的智能本质上离不开三个核心要素：算法、算力和数据。当这三者以特定方式叠加，技术的边界就可能一再被突破。
但问题远不止于此。ChatGPT为何被视为AI发展史上的里程碑？所谓的“涌现智能”到底是怎么回事？DeepSeek又是如何实现那种深度推理能力的？而AGI的下一站，又会通向何方？要回答这些问题，得从技术底层一点点拆解。
1. Transformer架构
Transformer这个名字，如今几乎成了大模型的代名词。它本质上是一种基于自注意力机制（Self-Attention）的神经网络架构。与传统序列模型不同，Transformer通过并行化计算和全局依赖建模，可以高效地处理序列数据——无论是编码还是解码。这种架构的厉害之处在于，它能捕捉序列中相隔很远的元素之间的依赖关系，同时扩展性极强。正因如此，它成了现代深度学习的基石，广泛应用于自然语言处理、计算机视觉等几乎所有主流AI领域。基本思路可以追溯到这篇经典论文：https://arxiv.org/abs/1706.03762。
2. “涌现”智能
涌现智能（Emergent Intelligence）是一个相当迷人的概念：当系统的规模达到某个临界点，整体会表现出一些在单个组件或小规模系统中完全无法观察到的复杂行为或能力。在大模型（比如ChatGPT）身上，这种现象体现得尤为明显。那么，大模型的涌现能力究竟从何而来？从现有研究来看，至少与以下几个因素密切相关——相关讨论可参考这篇综述：https://arxiv.org/abs/2206.07682。
（1）模型规模的扩大
首先是参数量的激增。当神经网络的参数量从数百万一路攀升到数千亿，模型的表达能力会出现质的飞跃，能够捕捉更复杂的语言模式和知识。更重要的是，这种增长并非线性的。当模型规模突破某个阈值时，会突然表现出一些全新的能力——比如上下文学习和推理能力。这种现象，正是“涌现”的核心。
（2）海量数据的训练
数据是燃料。大模型之所以聪明，很大程度上是因为它们见过足够多的世面。训练数据涵盖了书籍、网页、对话记录等各种来源，知识领域极为广泛。模型从这些海量且多样的数据中自动提取规律，逐渐学会处理各式各样的复杂任务。数据驱动的学习，在这里发挥了根本性作用。
（3）自监督学习与预训练
自监督学习是另一块关键拼图。模型通过预测下一个词或掩码词这类自监督任务，从无标注数据中学习语言的内在规律。预训练过程让模型掌握了通用的语言表示能力，这些能力成为后续涌现行为的基础。可以说，没有自监督学习，就没有今天的大模型。
（4）上下文学习（In-Context Learning）
上下文学习体现为少样本学习能力：只需在提示中给出少量示例，模型就能完成一个全新的任务。这背后是模式匹配的机制——模型通过识别输入中的模式，推断出任务规则并生成相应的输出。这种能力在传统机器学习中是很难想象的。
（5）多任务学习与泛化能力
大模型在训练过程中接触了翻译、问答、摘要等多种任务。这些任务共享通用的语言表示能力，模型因此能够将学到的知识迁移到从未见过的新任务中。正是这种强大的泛化能力，让大模型看起来“什么都会一点”。
（6）人类反馈与对齐（Alignment）
光有技术能力还不够，还得让模型更“听话”。通过人类反馈强化学习（RLHF），模型学会了生成更符合人类期望的回复。对齐技术进一步确保模型更安全、更有用、更符合用户需求。这一环节，虽然常被忽略，但实际效果非常关键。
（7）复杂任务的分解与推理
面对复杂任务，大模型具备将其分解为多个简单步骤的能力，然后逐步求解。虽然严格来说，它的推理能力仍有局限，但通过模式匹配和概率计算，确实能在很多场景下模拟出类似推理的行为。这一点，在DeepSeek-R1这样的推理专用模型上体现得尤为突出。
3. DeepSeek逆袭
最近DeepSeek的刷屏，绝对算得上行业大事件。超高性价比、开源策略、强劲的推理性能以及对中文信息的深度理解，让它迅速走出圈。相关的技术细节可以参考其开源仓库：DeepSeek V3论文、模型权重。
以DeepSeek-R1为例，它的推理能力主要通过以下方式实现：
- 基于强化学习的训练：DeepSeek-R1使用了GRPO强化学习框架，以DeepSeek-V3-Base为基础模型，通过与环境交互不断调整策略，最大化累积奖励。特别值得一提的是DeepSeek-R1-Zero——这是首次尝试用纯强化学习（不依赖监督微调SFT）来提升推理能力。模型在RL过程中自然展现出了自我验证、反思、生成长推理链等有趣行为。
- 多阶段训练优化：为了解决R1-Zero可读性差和语言混杂的问题，DeepSeek-R1在强化学习之前先加入了少量冷启动数据微调。在RL收敛后，又通过拒绝采样和结合DeepSeek-V3的监督数据（包括写作、事实问答、自我认知等），生成新的SFT数据重新训练。最终得到的模型，在性能和控制力之间达到了很好的平衡。
- 推理模式蒸馏：DeepSeek-R1还探索了将大模型推理能力蒸馏到小型密集模型的可能性。以Qwen2.5-32B为基础模型，直接从DeepSeek-R1蒸馏，使小模型也能具备强大的推理能力。结果证明，蒸馏后的性能甚至优于直接在小型模型上通过强化学习获得的推理模式。
简单来说，DeepSeek-R1专为数学、代码、逻辑推理等复杂任务设计，适用于科研、算法交易等场景；而DeepSeek V3则是通用型大语言模型，擅长自然语言处理、知识问答和内容生成，适合智能客服、内容创作等场景。
现代计算的发展，随着深度学习主导的数据驱动算法成为主流，竞争重点已经从算法本身转向了算力和数据的争夺。有意思的是，热映的《哪吒》特效镜头超过1900个，敖丙的220万片龙鳞每片都要精细渲染，单幅画面承载大量动态角色——这背后同样需要高性能计算集群、专业渲染引擎、云计算弹性算力以及AI加速等技术的支持。无论是电影工业还是大模型领域，算力和数据的重要性都在持续上升。
所谓技术领先，在当下只是暂时的。在模型不断赋能的基础上，AI可能会持续刷新人们的认知。但数据驱动的智能也有其天然的边界——当模型缺乏时效数据或局部领域数据时，那种“智力不足”的感觉就会显现出来。这或许是AGI下一站需要真正面对的核心挑战。