浙江大学大模型基础教材PDF完整版学习下载

时间：2026-05-31 16:12

近期，浙江大学正式推出了一本名为《大模型基础》的系统性教材，内容扎实、覆盖面广。该书从基础理论到前沿应用，对大型语言模型（LLMs）的全景知识进行了清晰梳理。无论你是想厘清技术脉络，还是希望深入理解大模型核心技术，这份学习资料都极具参考价值。语言模型基础报告从语言模型的基本功讲起，这部分内容如同

近期，浙江大学正式推出了一本名为《大模型基础》的系统性教材，内容扎实、覆盖面广。该书从基础理论到前沿应用，对大型语言模型（LLMs）的全景知识进行了清晰梳理。无论你是想厘清技术脉络，还是希望深入理解大模型核心技术，这份学习资料都极具参考价值。

语言模型基础

报告从语言模型的基本功讲起，这部分内容如同搭建高楼的地基。只有把基础理解透彻，后续复杂的架构与应用才能轻松掌握。

基于统计方法的语言模型：从经典的 n-gram 模型入手，深入解释了背后的统计学原理，包括马尔可夫假设与极大似然估计。这是理解语言概率建模的重要起点。
基于RNN的语言模型：介绍了循环神经网络（RNN）的结构特点，同时坦诚讨论了它在训练中面临的典型难题，如梯度消失或梯度爆炸，以及它在早期语言建模中的应用。
基于Transformer的语言模型：作为本章的重点，报告详细拆解了 Transformer 的核心架构，涵盖自注意力机制、前馈网络、层归一化与残差连接，并阐述了它如何成为现代大语言模型的重要基石。
语言模型的采样方法：模型生成文本时如何“做选择”？这里介绍了贪心搜索、波束搜索，以及更灵活的 Top-K 采样、Top-P 采样和 Temperature 机制等解码策略。
语言模型的评测：如何评估一个模型的好坏？报告区分了内在评测（如困惑度）与外在评测（如 BLEU、ROUGE、BERTScore、G-EVAL），为模型性能评估提供了系统的方法论。

地基打牢之后，报告开始搭建高楼，深入剖析大语言模型的各类架构设计，帮助读者了解不同方案的优劣势。

大数据 + 大模型 → 新智能：开篇点明核心，分析了模型规模与数据规模如何共同影响模型能力，并引入了关键的 Scaling Laws（如 Kaplan-McCandlish、Chinchilla 定律）。
大语言模型架构概览：清晰对比了 Encoder-only、Encoder-Decoder、Decoder-only 三种主流架构在注意力机制上的差异，以及它们各自擅长的任务类型。
Encoder-only 架构：以 BERT 为典型代表，介绍了其结构、预训练任务（掩码语言建模 MLM、下一句预测 NSP），以及由此衍生的 RoBERTa、ALBERT、ELECTRA 等模型。
Encoder-Decoder 架构：以 T5 和 BART 为例，展示了如何用统一的文本生成框架处理多样化任务，并介绍了它们丰富的预训练任务设计。
Decoder-only 架构：重点梳理了 GPT 系列（从 GPT-1 到 GPT-4）和 LLaMA 系列（LLaMA1/2/3）的发展脉络与技术特点，这是当前生成式 AI 的主流路径。
非Transformer架构：展望未来可能性，介绍了状态空间模型（SSM）如 RWKV、Mamba，以及测试时训练（TTT）等新兴范式。

拥有强大模型之后，如何与之有效“对话”成为关键。Prompt 工程正是这门沟通艺术的核心。

Prompt 工程简介：首先定义了 Prompt 与 Prompt 工程的概念，并解释了分词与向量化（Tokenization、Embedding）这一理解模型输入的基础过程。
上下文学习（In-Context Learning, ICL）：详细介绍了零样本、单样本、少样本学习，并探讨了如何根据相似性或多样性选择示例，以提升模型表现。
思维链（Chain-of-Thought, CoT）：这是提升模型复杂推理能力的利器。报告讲解了 CoT 的多种模式：从基础的按部就班（CoT、Zero-Shot CoT、Auto-CoT），到更复杂的三思后行（ToT、GoT），再到集思广益（Self-Consistency）。
Prompt 技巧：分享实用技巧，比如如何规范编写 Prompt、合理归纳问题、适时引入思维链，以及善用角色扮演、情景代入等“心理暗示”来引导模型。
相关应用：展示了 Prompt 工程在构建基于大模型的智能体（Agent）、数据合成、Text-to-SQL、定制化 GPTs 等方面的广泛应用。

直接微调动辄千亿参数的大模型成本高昂，参数高效微调（PEFT）技术应运而生，旨在用最小代价让大模型适应新任务。

参数高效微调简介：从下游任务适配的两种主流方法（上下文学习和指令微调）谈起，引出 PEFT 技术，并阐述了其在降低成本和提升效率方面的显著优势。
参数附加方法：详细介绍了通过在模型结构中“加料”来实现微调的方法，包括加在输入的 Prompt-tuning、加在模型内部的 Prefix-tuning 和 Adapter-tuning，以及加在输出的 Proxy-tuning，分析了各自的实现与优势。
参数选择方法：介绍了另一种思路——只选择模型的一部分参数进行更新，分为基于规则的方法（如 BitFit）和基于学习的方法（如 Child-tuning），通过选择性更新来减轻计算负担。
低秩适配方法：重点介绍了目前最流行的 LoRA 及其变体（如 ReLoRA、AdaLoRA 和 DoRA）。其核心思想是通过低秩矩阵来近似原始权重的更新，在保证参数效率的同时具备优秀的任务泛化能力。
实践与应用：介绍了如何使用 Hugging Face 的 PEFT 框架，并通过表格数据查询与分析的实际案例，展示了 PEFT 技术如何有效提升大模型在特定任务上的性能。

大模型一旦训练完成，内部知识似乎就固化了。模型编辑技术致力于在不重新训练的前提下，精准、高效地修改模型的行为或知识。

模型编辑简介：阐述了模型编辑的核心思想、定义和性质，强调了这项技术在纠正大模型中的偏见、有害内容或知识错误等方面的重要性。
模型编辑经典方法：将现有方法分为两大类：外部拓展法（如知识缓存法和附加参数法）和内部修改法（如元学习法和定位编辑法），并介绍了各类的代表性工作。
附加参数法：T-Patcher：以 T-Patcher 为例，详细讲解了如何通过为模型附加特定的小型参数模块，实现对模型输出的快速、精准控制，适用于需要即时修正特定知识点的场景。
定位编辑法：ROME：以 ROME 方法为例，深入介绍了如何定位并修改模型内部特定的层或神经元，从而实现对模型知识结构的深度编辑，适用于需要从根本上调整模型理解的场景。
模型编辑应用：探讨了模型编辑在实现精准模型更新、保护用户“被遗忘权”、以及提升模型安全性与可控性等方面的实际应用潜力。