在人工智能技术迅猛发展的今天，大模型（llm）已经成为推动 ai 应用落地的关键动力。在之前的分享「普通人上手 deepseek 的实用攻略」中，我们已经成功将 deepseek 大模型高效地部署到本地环境，并对外提供稳定的服务。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

本文将与你分享我们基于 LangServe 框架，将 DeepSeek 本地大模型转化为服务的实践经验，带领你一步步了解如何快速搭建、部署和管理本地大模型服务，使 AI 能力真正触手可及。

1、了解 LangServe

LangServe 是一个专门为语言模型设计的服务化框架，旨在帮助开发者将大模型能力迅速封装成 API 服务。其核心优势包括：

易于使用：通过少量代码即可完成模型服务的部署；高性能：支持并发请求和高效推理，满足生产环境需求；灵活扩展：可与其他工具（如 LangChain）无缝集成，构建复杂的 AI 应用。

对于需要在本地环境中部署大模型的团队来说，LangServe 是一个不可或缺的工具。

2、实践安装

从零开始的 DeepSeek 服务化是本文的重点内容。

2.1 环境准备

安装 LangServe：

pip install "langserve[all]" 

登录后复制

或者使用 pip install "langserve[client]" 安装客户端代码，使用 pip install "langserve[server]" 安装服务器端代码。

下载 DeepSeek 模型权重，并配置本地推理环境，之前的「普通人上手 Deepseek 的实用攻略」已经完成了这一步骤。

2.2 模型封装

使用 LangServe 将 DeepSeek 模型封装为 API 服务：

引入关联类库：

from fastapi import FastAPIfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_core.output_parsers import StrOutputParserfrom langchain_ollama.llms import OllamaLLMfrom langserve import add_routes

登录后复制

创建提示词模板：

system_template = "来，一起计算这个难题吧！"prompt_template = ChatPromptTemplate.from_messages([    ('system', system_template),    ('user', '{text}')])

登录后复制

创建本地大模型：

model = OllamaLLM(model="deepseek-r1:1.5b")

登录后复制

创建解析器：

parser = StrOutputParser()

登录后复制

创建链：

chain = prompt_template | model | parser

登录后复制

定义 App：

app = FastAPI(    title="LangChain Server",    version="1.0",    description="使用 LangChain 的 Runnable 接口的简单 API 服务器。",)

登录后复制

添加链的路由：

add_routes(    app,    chain,    path="/calc",)

登录后复制

启动命令：

if __name__ == "__main__":    import uvicorn    uvicorn.run(app, host="localhost", port=8010)

登录后复制

至此，一个简单的问答链已经创建好了。运行它需要一个参数：text。

2.3 启动程序

启动此程序，出现类似下面的输出则说明启动成功。

根据上图的信息，在浏览器输入 https://localhost:8010/calc/playground/

2.4 问答交互

接下来，我们尝试输入一个简单问题来进行交互吧~

搞定！

后续 DeepSeek 学习内容，持续更新，欢迎关注~

相关攻略

热门推荐