Meta 正式发布了 Llama3 模型,这无疑是近期科技圈最重磅的消息之一。作为开源大语言模型领域的标杆,Llama 系列一直备受瞩目,而 Llama3 则成为了新一代领军者。官方对比数据提供了直观参考:无论是与谷歌 Gemma、法国 Mistral 开源版的较量,还是 70B 版本对阵 Gemini 和 Claude3 闭源模型,表现都相当亮眼。
不过,究竟有多强,网上新闻已经铺天盖地,这里不再赘述。直接聊最实际的问题——如何在自己的电脑上本地运行?这才是大多数用户最关心的核心点。
好在 Llama3 的衍生模型极其丰富,生态成熟,支持的工具也非常多。完全不需要自己配置环境、编写代码、手动加载模型,现成的“基础设施”比比皆是。今天要介绍的就是一款可视化 GUI 软件,操作简单到“有手就会”——LM Studio。

LM Studio 基于 llama.cpp,可以运行几乎所有主流大语言模型,而且主要依靠 CPU 推理,因此几乎任何电脑都能使用。

第一次接触这款软件的朋友,按照以下步骤操作,几分钟就能上手。
第一步:下载软件

前往官网 https://lmstudio.ai/,首页直接点击 Windows 版本下载。安装包体积不大,很快就能完成。注意版本必须是 v0.2.20,只有这个最新版才支持 Llama3。
第二步:下载模型

软件本身只是一个管理工具,需要先用它来下载模型。打开软件后,右下角第一个模型就是 Llama3-8B,非常醒目,点击 Download 即可。底部会显示下载进度条。唯一需要留意的是:下载源为 Hugging Face,部分地区可能需要网络环境才能顺利访问。
第三步:加载模型并开始对话

点击①处的聊天图标进入对话界面,在②处下拉列表中选择刚下载的 Llama3 模型(新安装的模型默认排在顶部),然后在③处输入内容,按回车发送。
第四步:设置系统指令
Llama3 是国外开源模型,默认使用英语对话。即便你输入中文,它能够理解,但也会用英文回应。好在训练数据中包含了其他语言,可以通过设置强制它输出中文。在 System Prompt 下方的输入框中填写“所有问题都用中文回答”,然后重新加载模型,就能全程使用中文交互。实际体验下来,中文能力大约在六七十分的水平,不算顶尖,但日常沟通足够。有趣的是,它特别喜欢发一个表情
