游乐游手机版
首页/AI热点日报/热点详情

Gemma2+Perplexica私有化部署AI搜索超越Llama3 Qwen2

类型:热点整理2026-06-18
Gemma2发布27B和9B参数版本,性能对标Llama3与Qwen2。通过Ollama本地部署,结合开源项目Perplexica可构建私有AI搜索引擎,支持本地化智能搜索与意图理解,兼顾效率与隐私。

将AI搜索引擎真正部署到自己的服务器上,这一构想如今正变得越来越容易实现。

在不久前的Google I/O大会上,谷歌不仅发布了Gemma 2开源的信号,还带来了一份意外惊喜:除了此前公开的27B参数版本,他们同时推出了更轻量的9B参数版本。DeepMind创始人哈萨比斯表示,在27B参数规模下,Gemma 2展现了同类模型中的顶尖性能,其能力甚至可以与参数量翻倍的模型一较高下。

AI搜索引擎私有化部署:Gemma2+Perplexica,拉爆Llama3 Qwen2

更值得关注的是它在竞技场中的表现。在LMSYS Chatbot Arena上,27B版本的Gemma 2直接与70B参数的Llama3正面对决,成绩毫不逊色;而它的9B版本同样能打,排名甚至可以与72B参数的Qwen2相提并论。这说明了什么?说明Gemma 2在不同参数规模下都能保持高效能,在性能与资源利用之间找到了一个非常出色的平衡点。再加上它对多种平台和工具的广泛兼容、易于微调的特性,金融、医疗、营销、供应链、人力资源乃至自然语言处理等多个领域,都能成为它的用武之地。

那么它的推理能力究竟如何?不妨直接上手测试一下。

Gemma2可以通过谷歌的AI Studio平台直接体验。在界面右上角选择Gemma 2模型,然后抛给它一个经典的时间推理问题:“假设今天是星期五,48小时后是星期几?”点击运行,模型迅速给出答案,还附带了完整的计算过程来验证结果。

时间推理测试

再来测试条件逻辑推理。换了一个典型的逻辑题,Gemma2不仅给出了肯定回答,还指出这是逻辑学中著名的三段论。顺便扔了个经典难题——因为提问中包含了暴力词汇,模型还郑重其事地给出了警告信息。


好了,底子够硬,接下来就是真正的重头戏——如何在本地部署Gemma2,并利用开源项目Perplexica,构建一个属于你自己的AI搜索引擎。

第一步:在本地拉起Gemma2

先确认你已经安装了Ollama。前往Ollama官网下载安装,完成后执行一条命令,Gemma2就会自动下载并启动。这样,本地环境就拥有了强大的AI搜索能力。

Ollama部署命令

第二步:部署Perplexica

Perplexica是一个开源的AI驱动搜索引擎,旨在提供媲美Perplexity的智能搜索体验。但它的能力不止于搜索——它能深入理解用户查询的意图,借助最前沿的机器学习技术(比如相似性搜索和向量嵌入)来输出精准且全面的结果。这些算法确保了搜索结果的相关性和深度,可以说,它不是一个简单的搜索框,而是一个能帮你“思考问题”的助手。

项目地址:https://github.com/ItzCrazyKns/Perplexica

下载地址:https://github.com/ItzCrazyKns/Perplexica/archive/refs/heads/master.zip

下载完成后,解压文件,进入项目目录。

接下来需要定位一个配置文件。找到名叫 sample.config.toml 的文件,注意文件名前缀的“sample.”——把它去掉,改名为 config.toml

配置文件名修改

打开 config.toml,填写ollama的接口地址。

配置Ollama接口

保存关闭,配置就完成了。接下来在命令行进入项目目录,执行:

docker compose up -d

安装完成后,打开浏览器访问:http://127.0.0.1:3000

服务启动界面

第三步:配置与使用

点击界面左下角的齿轮图标进入设置菜单。第一个选项是“主题”,可以根据偏好选择亮色或暗色主题。在“聊天模型的提供者”选项中,选择“Ollama”——毕竟这是我们已经配置好的本地平台。然后在“聊天模型”中,选择刚才运行的“Gemma2 latest”版本。

模型选择配置

同样,在“嵌入模型提供者”选项中,也选择“Ollama”。嵌入模型同样选用“Gemma2”,保持一致性以最大化发挥其功能。当然,如果有其他偏好,也可以自由选择别的模型提供者和模型。

全部配置完成之后,就可以直接搜索关键词了。

搜索效果展示

可以看到,搜索结果给出了相关的链接、生成的内容简介,甚至还自动关联了相关的搜索问题。这个私有化的AI搜索引擎,就这样在本地跑起来了。

来源:https://www.53ai.com/news/OpenSourceLLM/2024071782410.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。