春节宅家期间，利用整块时间翻阅GitHub，发现了几款有趣的AI开源项目。其中一款名为Lumos的工具格外引人注目——它是一个由本地大语言模型（LLM）驱动的浏览器辅助工具，主打RAG（检索增强生成）能力，能够帮助你更深入地理解网页内容。

简单来说，这是一款Chrome浏览器扩展，底层由Ollama提供本地推理支持。所有运算都在你的本地设备上完成，无需依赖外部服务器，也无需担心隐私泄露。但有一点需要注意：受Chrome扩展平台的安全限制影响，它实际上仍然需要一个本地服务器来运行LLM。该项目的灵感主要来源于Web LLM项目提供的Chrome扩展示例，以及LangChain中的本地LLM实现思路。

应用场景

这款工具的实际应用场景相当广泛，这里列举几个典型用例：

• 在问题追踪平台、论坛和社交媒体上快速概括长线讨论
• 迅速提取新闻文章的核心要点
• 针对电商或产品页面上的用户评价进行提问
• 对长篇技术文档进行问答交互
• ——当然，你还可以发掘更多有价值的用途

Ollama服务器

要在本地顺利运行，首先需要安装一个Ollama服务器，用于处理嵌入数据库和LLM推理任务。通过官方渠道下载并安装Ollama及其CLI工具即可。

启动服务器

使用以下命令启动服务：

OLLAMA_ORIGINS=chrome-extension://* ollama serve

终端输出大致如下：

2023/11/19 20:55:16 images.go:799: 总共blobs：6
2023/11/19 20:55:16 images.go:806: 移除的未使用blobs总数：0
2023/11/19 20:55:16 routes.go:777: 正在监听127.0.0.1:11434（版本0.1.10）

这里要特别说明：环境变量OLLAMA_ORIGINS必须设置为chrome-extension://*，这样才能允许Chrome扩展发起的请求通过。

使用Docker

如果你习惯使用容器化部署，也可以在Docker中运行Ollama服务器。记得设置环境变量OLLAMA_ORIGINS为chrome-extension://*：

docker run -e OLLAMA_ORIGINS="chrome-extension://*" -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Chrome扩展

在项目目录下，你可以执行以下几个常用命令：

npm test

以交互式观察模式启动测试运行器，便于调试和排查问题。

npm run lint

对src目录下的文件运行eslint和prettier，确保代码风格一致且质量达标。

npm run build

将应用构建为生产版本，输出到dist文件夹。构建产物会被压缩并添加哈希文件名，这是部署前的标准流程。

载入未打包的扩展

关于如何安装未打包的扩展，你可以参考Chrome官方文档中的详细说明。

发布版本

如果你没有安装npm也不用担心，直接从发布页面下载预构建的扩展包即可使用。

Lumos选项设置

右键点击扩展图标，选择「Options」即可进入设置页面。这里有几个关键配置项：

• Ollama模型：选择你需要的模型，例如llama2
• Ollama主机：默认地址为http://0.0.0.0:11434
• 向量存储TTL（分钟）：URL内容在向量存储中的缓存时长
• 内容解析器配置：Lumos默认提取页面标签内的所有文本。如果你想针对不同网站自定义解析规则，可以在此处进行配置

内容解析器配置详解

每个域名都可以指定独立的解析器，配置项包括：

• chunkSize：将页面内容分块索引到RAG时的字符数量
• chunkOverlap：分块时的字符重叠数量
• selectors：使用document.querySelector()检索页面内容的CSS选择器
• selectorsAll：使用document.querySelectorAll()检索页面内容的选择器

例如，你可以为不同站点配置自定义解析规则：

{
  "default": {
    "chunkSize": 500,
    "chunkOverlap": 0,
    "selectors": ["body"],
    "selectorsAll": []
  },
  "medium.com": {
    "chunkSize": 500,
    "chunkOverlap": 0,
    "selectors": ["article"],
    "selectorsAll": []
  },
  "reddit.com": {
    "chunkSize": 500,
    "chunkOverlap": 0,
    "selectors": [],
    "selectorsAll": ["reddit-comment"]
  },
  "stackoverflow.com": {
    "chunkSize": 500,
    "chunkOverlap": 0,
    "selectors": ["#question-header", "#mainbar"],
    "selectorsAll": []
  },
  "substack.com": {
    "chunkSize": 500,
    "chunkOverlap": 0,
    "selectors": ["article"],
    "selectorsAll": []
  },
  "wikipedia.org": {
    "chunkSize": 2000,
    "chunkOverlap": 500,
    "selectors": ["#bodyContent"],
    "selectorsAll": []
  },
  "yelp.com": {
    "chunkSize": 500,
    "chunkOverlap": 0,
    "selectors": ["#location-and-hours", "#reviews"],
    "selectorsAll": []
  }
}

突出显示的内容

另外还有一个实用的设计细节：如果你在页面上用鼠标选中了某段文本，Lumos会优先解析这部分选中内容，而不是使用默认的解析规则——这在进行精细化提问时非常方便。

多模态支持

Lumos还支持多模态模型。当前页面上出现的图像会被自动下载，并作为提示的一部分传入模型。如果你感兴趣，可以查阅相关文档和示例来了解更多详情。