中国AI大模型DeepSeek-R1近期成功在资源受限的个人电脑上实现本地运行,展现出巨大应用潜力。其背后关键因素包括模型本身的开源优势、本地部署的便捷性,以及借助LeetTools和DuckDB实现的快速文档处理与知识库构建。简单来说,即使你只有一台普通笔记本电脑(例如16GB内存、无独立GPU),也能让这款模型高效为你服务。

一夜之间,DeepSeek-R1横扫硅谷,迅速引爆全球科技圈。英伟达AI科学家Jim Fan发文感叹:“一家非美国公司,正在让OpenAI的初衷得以延续——真正开放、为所有人赋能的前沿研究。”没错,DeepSeek-R1不仅性能媲美OpenAI O1,还做到了完全开源。
现在,你可以通过DeepSeek API直接调用R1模型,将其无缝集成到自己的工作流中。更令人惊喜的是,Ollama已在其模型库中加入了多个版本的R1模型,这意味着你可以在本地用Ollama运行R1模型。一条命令就能建立本地知识库——全程仅需3分钟,占用2GB内存,无需GPU,安装即用。下面演示如何使用LeetTools(一个具备RAG能力的端到端文档管道AI搜索引擎框架),结合Ollama中的R1模型,在本地搭建知识库。整个过程以DuckDB为后端,即使在仅有16GB RAM且无专用GPU的笔记本电脑上也能轻松运行。
演示步骤
? 安装 Ollama
1. 按照官方文档安装Ollama程序:https://github.com/ollama/ollama
# 如果ollama程序没有运行,用以下命令启动
ollama serve
2. 加载ollama模型:
% ollama pull deepseek-r1:1.5b
% ollama pull nomic-embed-text
? 安装 LeetTools
% conda create -y -n leettools python=3.11
% conda activate leettools
% pip install leettools
# 设置数据存储路径
% export LEET_HOME=${HOME}/leettools
% mkdir -p ${LEET_HOME}
# 创建环境变量文件
% cat > .env.ollama <
? 用一个命令建立你的本地知识库
通过一条命令,你可将指定URL中的PDF文档构建为知识库。如有需要,还可以添加更多URL。
# 这里使用的是一本231页的LLM入门书籍PDF
leet kb add-url -e .env.ollama -k llmbook -l info -r https://arxiv.org/pdf/2501.09223
? 使用R1查询你的本地知识库
以下命令将用刚才构建的知识库(LLM书籍内容),通过R1模型回答问题。
leet flow -t answer -e .env.ollama -k llmbook -p retriever_type=local -l info -p output_language=cn -q "How does the FineTune process Work?"
? 资源使用情况
整个管道只用了约2GB的内存,完全不需要专用GPU。具体而言:
- 带有RAG服务后端的LeetTools文档管道:约350MB内存
- R1模型(1.5b版本):约1.6GB内存
- 嵌入模型(nomic-embed-text):约370MB内存
% ollama ps
NAME ID SIZE PROCESSOR UNTIL
deepseek-r1:1.5b a42b25d8c10a 1.6 GB 100% CPU 4 minutes from now
nomic-embed-text:latest 0a109f422b47 370 MB 100% CPU 4 minutes from now