—1— 为什么要在 MacBook 上搭建知识库？

其实最核心的原因很简单：手上的文档资料有安全要求，不能随便上传到云服务，所以一直没法实际验证知识库到底好不好用。另外，对搞技术的同学来说，亲手搭建一套完整的方案，能灵活调整、对接不同模型，再评测各家模型的表现——这种探索的冲动本身就是驱动力。使用的 MacBook 配置（经过量化处理，比如 int8）后，可以流畅运行大模型，具体参数如下。

—2— 知识库的架构设计

来看一下我们在 MacBook 上搭建的架构设计，如下图所示。这套方案选用了目前实力排上游、且对企业和学术都很友好的最新开源大模型 Llama 3.1，嵌入模型则用了 m3e-base，基于它来做 Embedding Search RAG 方案。两个模型都封装成兼容 ChatGPT 的 API 接口协议，再引入 One API 接口管理与分发系统，形成统一的 LLM 接口渠道管理平台规范，然后把封装好的接口协议注册进去。最后，搭建与 Dify.ai 齐名的开源大模型知识库平台管理系统 FastGPT，实现从私有知识数据源预处理、嵌入检索到大模型对话的完整流程。

麻雀虽小五脏俱全——这套方案既满足商用标准，又能在一台 MacBook 上跑起来。虽然智能程度和实际需求还有差距，但至少不需要额外买显卡或租云服务，就能以最小成本部署运行，并且能导入实际业务数据（比如设计文档、业务流程文档、项目管理文档、技术分享文档等）进行实操验证。值得每位工程师都动手尝试一下。

—3— 知识库的部署设计

基于 MacBook 的部署方案分为四个主要环节、14个具体步骤，只要步步实操下去，每位 IT 同学都能在自己的 MacBook 上拥有私有大模型知识库系统。步骤清单如下：

部分步骤可以简单地通过 Docker 镜像一键部署完成，但本着对细节一竿子插到底的部署思路，这里采取了纯手工作业的方法。