项目简介

先说几个核心判断：如果你对数据隐私极度敏感，或者希望在完全离线的环境下用大模型和自有文档对话，那么 PrivateGPT 几乎就是为你量身定制的。

它本质上是一个基于大型语言模型的 API 框架，但最大的卖点在于——所有操作都在本地完成。你可以把它部署在自己可控的服务器上，100% 私有化，数据不出你的执行环境。没有哪家云服务的后台能偷瞄你的文件，这在数据安全成为硬通货的今天，价值不言而喻。

更讨巧的是，它遵循并且扩展了 OpenAI 的 API 标准，支持普通的响应和流式响应。这意味着，如果你已经有基于 OpenAI API 的应用，迁移到本地私有方案会非常丝滑。

使用场景

数据安全等级高的行业，比如医疗健康和法律领域，往往对 AI 工具又爱又怕。PrivateGPT 正好解决了这个痛点——公司可以放心地用它处理病历、合同这类敏感文件，因为数据完全在自己的管控之下。

另一方面，那些希望在没有网络的环境下体验类 ChatGPT 本地聊天工具的企业或个人，也是一个典型场景。

使用方法

官方文档（https://docs.privategpt.dev/）非常详尽，从安装、依赖、配置到运行服务器、部署选项、文档摄入以及 API 细节和 UI 功能，应有尽有。这里只把最核心的步骤拆解开。

安装步骤

• 先把代码拉下来：

git clone https://github.com/imartinez/privateGPT
cd privateGPT

• Python 版本必须用 3.11，推荐用 pyenv 来管理。老的 Python 版本就别想了，不支持。

pyenv install 3.11
pyenv local 3.11

• 接着把依赖管理工具 Poetry 和 make 都装上。

• 关键一步：根据自己的需求组合模块。你可以选择不同的 LLM 类型、Embeddings 类型、向量存储类型，还能决定是否启用 Gradio 界面。

• 用 Poetry 的 extras 选项只装你需要的。比如，基于 Ollama 的本地全栈设置，就这样：

poetry install --extras "ui llms-ollama embeddings-ollama vector-stores-qdrant"

推荐设置示例

1. 本地 + Ollama 方案

这是最简单的本地跑法，依赖 Ollama 提供 LLM 和 Embeddings 服务。先去 ollama.ai 装好 Ollama，确保桌面应用关闭后，拉取需要的模型数据。然后启动 Ollama 服务，在另一个终端里安装并运行 PrivateGPT 即可。

1. 私有 + AWS SageMaker 方案

如果你追求高性能，可以依赖 SageMaker 来提供服务。前提是你得有 SageMaker 推理端点的访问权限，并正确配置 AWS 凭证。编辑 settings-sagemaker.yaml 文件，填上正确的端点信息，然后照常安装运行。

1. 非私有 + OpenAI / Azure OpenAI 测试方案

如果只是测试用，想用 OpenAI 或 Azure OpenAI 的 LLM 和 Embeddings，也不是不行。但必须清楚：数据会发送到这些平台的服务器上。务必按文档配好 API 密钥和端点，然后安装运行。

1. 本地 + Llama-CPP 方案

想完全本地且不依赖 Ollama？可以选这个。但得有心理准备：Llama-CPP 的安装比较复杂，通常需要特定的 C++ 编译器，还要针对 GPU 支持做额外配置。

每一种设置的具体命令，官方文档里都列了。确保所有先决条件满足后，再跑 PrivateGPT。启动成功后，UI 界面默认在 http://localhost:8001 可以访问。

架构与 API

PrivateGPT 基于 FastAPI 构建，逻辑上分成两块。

高级 API

这一层把 RAG（检索增强生成）的所有复杂流程都封装好了。包括文档处理（解析、分割、元数据提取、嵌入生成和存储），以及基于上下文聊天的能力——不需要你操心上下文检索、提示工程和响应生成的具体细节。

低级 API

面向进阶玩家，如果你想自己实现更复杂的流程，低级 API 提供了更高自由度的接口。比如：从一段文本生成嵌入向量；或者给定查询后，从已提取的文档中返回最相关的文本片段。

此外，项目自带一个 Gradio UI 客户端用于测试 API，同时也提供了一些实用小工具，比如批量模型下载脚本、文档摄入脚本、文件夹监控工具等。

整体来看，PrivateGPT 的意图很清楚：让开发者能更容易地构建私密、可控的 AI 应用，同时给社区留好了扩展和贡献的空间。