AI 基础入门：核心概念与术语详解
学习任何技术都离不开专业术语，AI 领域更是如此——新概念层出不穷，容易让人眼花缭乱。不过，一旦掌握这些术语，后续的学习与实际应用就会顺利许多。
我们从一个具体的应用场景开始。有一篇关于使用 RAG-GPT 和 Ollama 搭建智能客服的文章，其中梳理了一个典型的问答流程。整个过程可以用一张流程图来展现：
智能文档在线检索的完整流程如下图所示，它清晰展示了一个问答的运转过程：
- 用户发起 query（查询）
- 根据 Bot 实际业务场景，判断是否需要对 query 进行 rewrite（重写）
- Retrieval（检索）模块依据 query 从 Indexing（索引）中找出相关文档
- 对召回的文档执行 Reranking（重排序）
- 依据 relevance score（相关性分数）进行过滤，去除低质量文档
- 组装成合适的 Prompt（提示词）输入到 LLM 大模型中，最终生成回答
这个流程看似简单，背后却牵出一系列关键概念。接下来我们将逐一解析，帮助你看懂它们究竟是什么。
关键术语解析
- LLM 大模型： 指参数规模极其庞大的语言模型。例如 GPT-4 参数量达到 1750 亿，而 GPT-3 为 175 亿。参数越多，模型理论上能捕捉和处理的信息就越复杂。
- GPT： 全称 Generative Pre-trained Transformer（生成式预训练 Transformer），是 OpenAI 开发的系列语言模型。它能执行文本生成、摘要、翻译、分类，甚至搭建问答系统等多种任务。
- Transformer： 一种基于注意力机制的神经网络架构。注意力机制使模型在处理文本时能够“聚焦”关键部分，而非平均对待。它不仅用于 NLP，在语音识别、图像识别领域也有广泛应用。
- RAG： 全称 Retrieval-Augmented Generation（检索增强生成）。“增强”是核心——它将信息检索与文本生成相结合，让模型在生成回答前先去外部知识库“查阅资料”，而非完全依赖自身记忆。尤其适用于问答和摘要场景。
- 知识库： 相当于模型需要查阅的“字典”或“资料库”，存储了大量知识，用于支撑问答、文本生成等任务。
- 召回： 从海量数据中找出与当前查询最相关的部分信息。例如用户问“如何退货”，系统需从客服知识库中精准提取退货相关条目。
- Prompt： 输入给模型的文本或问题描述。你给出的指令直接决定生成的输出质量。Prompt 的写法对结果影响很大。
- 重写： 对用户输入的问句进行适当调整。比如用户说“咋退东西”，系统可能需要先改写为“如何办理退货流程”，才能更好地匹配知识库。
- 模型训练： 使用大量数据“喂养”模型，通过不断调整参数使其学会完成任务，是机器学习和深度学习的基础环节。
- Agent： 智能体，可视为“通用问题解决器”。从软件工程角度看，它基于大语言模型，具备规划思考、记忆和调用外部工具的能力，能自主完成指定任务。
- Function Calling： 一种让大语言模型连接外部工具的机制。调用模型 API 时，你可以描述一些函数（功能、参数、响应格式）。模型会根据用户输入自主决定调用哪个函数，并将用户的自然语言转换为结构化的函数调用参数返回给你。之后你可执行该函数，将结果回传给模型，让模型组织成自然语言回答用户。
主流技术框架
- Hugging Face： 被誉为 AI 界的 GitHub——一个汇集海量预训练模型、数据集和应用的社区。其旗下核心开源库“Transformers”最初提供各类基于 Transformer 架构的预训练模型（如 BERT、GPT-2 等），后逐步发展为支持多种主流任务的完整机器学习工具库。官方网址：https://huggingface.com/
- LangChain： 一个基于大语言模型开发应用的框架，旨在简化 LLM 应用的全生命周期——从原型到生产，逐步优化。官方网址：https://python.langchain.com/docs/introduction/
- Ollama： 开源的本地大语言模型运行框架，专为在个人电脑上便捷部署和运行大模型而设计，无需依赖云端。官方网址：https://ollama.com/
开发环境准备
1. 安装 Python
Python 是一种高级编程语言，具备简单易学、易于扩展、丰富的库和工具包等优点，广泛应用于数据科学、机器学习、Web 开发、自动化测试等领域。
1.1 常规安装
Python 安装门槛很低。前往官网下载对应操作系统的安装包，按提示一路确认即可。最关键的一步：安装完成后打开命令行终端，输入 python --version，若能显示版本号，即表示安装成功。
- 打开 Python 官方网站：https://www.python.org/downloads/
- 点击“Downloads”按钮进入下载页面
- 选择适合你操作系统的 Python 版本，点击“Download”按钮
- 下载完成后双击安装包，按提示完成安装
- 安装完成后启动命令行终端，输入
python --version，若输出版本号则说明 Python 已成功安装
1.2 通过 Anaconda 安装
Anaconda 是一个开源 Python 发行版，预装了 Python 及大量常用科学计算库，能帮你省去不少环境配置的麻烦。
国内用户通常推荐使用清华镜像源（https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/），国外用户则用官方源。Mac 或 Linux 安装命令如下：
# 安装 Anaconda
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.11-Linux-x86_64.sh
bash Anaconda3-2021.11-Linux-x86_64.sh
# 激活 Anaconda
source ~/.bashrc
# 查看 Anaconda 版本
conda --version
Windows 用户可参考相关教程。总的来说，日常开发强烈建议使用 Anaconda。它不仅自带环境管理功能，还能轻松切换和安装不同版本的 Python，非常顺手。
2. 安装 PyTorch
PyTorch 是深度学习领域的明星框架，也是当前本地部署大模型的主流选择。安装方式有 pip 和 conda 两种，这里推荐 conda，因为它会自动处理依赖关系，避免环境冲突。
安装命令如下：
# 安装 PyTorch
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
# 查看 PyTorch 版本
python -c "import torch; print(torch.__version__)"
关于 PyTorch 的详细教学，可参考后续学习资料。
3. 安装 Hugging Face Transformers
这是 Hugging Face 创建的开源框架，提供了 API 和工具，让你能轻松下载并使用最先进的预训练模型，还可进一步微调以提升性能。支持自然语言处理、计算机视觉、音频等多种任务。
安装命令如下：
# 安装 Hugging Face Transformers
pip install transformers
# 查看 Hugging Face Transformers 版本
python -c "import transformers; print(transformers.__version__)"
4. 安装 LangChain
LangChain 是一个用于构建 LLM 应用的框架，核心在于“集成”与“功能”。它封装了 API 调用、网页抓取、代码分析、文档摘要等工具，并支持接入 OpenAI、Anthropic、HuggingFace 等主流大模型以及多种数据源。
安装命令如下：
# 安装 LangChain
pip install langchain
# 查看 LangChain 版本
python -c "import langchain; print(langchain.__version__)"