想在本地电脑轻松搭建专属AI助手？今天这篇文章就为您详解一套完全运行于本地、无需联网即可流畅使用的智能体方案——Qwen3.5:9B + Hermes。经过实际测试，这套组合在性能表现与易用性之间取得了相当出色的平衡。
下面是我们接下来要探讨的核心内容：
- Qwen3.5 9B模型的实测性能表现与硬件配置要求
- Hermes工具的安装便捷性及其集成优势
- 该组合在本地智能体任务中的实际应用场景与价值
1. 实测 Qwen3.5:9b
在当下的开源模型领域，Qwen系列的表现堪称标杆。不仅国内大量开发者和爱好者正在使用，近期英伟达也在推进相关模型的量化工作，例如Qwen3.6-27B：
实际测试显示，量化后的Qwen3.6:27B若想在单张消费级显卡上流畅运行，仅有32G显存的5090显卡才能勉强满足需求。这个门槛确实偏高，对于绝大多数用户而言，几乎难以实现流畅运行。
基于更加务实的考量，经过大量实测发现，Qwen3.5:9B 才是那个最亲民、最接地气的选择。它仅需16G内存 + 8G显存即可运行，如果显卡显存达到12G-16G，则能获得相当流畅的使用体验。例如，实测环境使用的是32G 5090显卡，运行极为流畅。具体数据如下：5090显卡对单张图片的理解速度可达500 tokens/s：
推理速度的表现同样值得重点关注。针对上述输入进行了10次测评，并绘制了以下折线图：
首token延时（TTFT）平均为2.29s（绿色折线），首token之后生成的推理平均速度为0.40s。推理输出token数/s的曲线如下：
模型推理的平均速度达到了175.5 tokens/s。以上数据基于ollama搭载的qwen3.5:9b，在单人单机场景下表现最为理想。
从实际体验来看，Qwen3.5:9B更像是本地Agent的“黄金平衡点”模型。它不像27B那样对显存要求苛刻，也不像小参数模型那样在应对复杂任务时容易力不从心。此外，它最大支持256K上下文长度，足以覆盖绝大多数本地Agent应用场景：
再配合Hermes自带的记忆功能，在处理多轮对话任务时，任务执行的连贯性得到了显著提升。
总体来看，将Qwen3.5:9B接入Hermes后，它不再局限于简单的聊天对话，而是能够胜任众多实际的本地Agent任务。这也是为什么这套组合特别适合单机本地玩家的原因。
2. 接入Hermes
为什么这次选择将Qwen3.5 9B接入Hermes？一个非常现实的原因在于：Hermes的安装门槛相对更低。
它更加轻量化，安装链路更短，对于普通用户来说，成功搭建的概率更高。这一点至关重要，因为本地Agent工具的核心价值并不在于功能看起来多么炫酷，而在于你能否在自己的电脑上快速完成部署、成功接入模型，然后真正投入实际使用。
目前Ollama已经方便地支持了Hermes，只需执行下面一行命令，它会自动指定模型为qwen3.5:9b，后续无需再手动配置，极为便捷：
ollama launch hermes --model qwen3.5:9b
如果Hermes尚未安装，系统会自动完成安装流程：
点击“Yes”，安装过程便会自动启动：
大约不到3分钟，Hermes即可安装完成，Windows电脑也能完美兼容：
如图所示，模型已显示为qwen3.5:9b，接下来就可以开始测试提问了：
这套搭建方案由于完全基于本地算力运行，因此token可以随心所欲地使用，再也不用担心费用问题。接入步骤也异常简单：如果之前从未安装过Hermes，只需一行命令即可；如果之前已经安装过，可能会遇到一个小问题，解决方法如下：
首先执行以下两行命令：
hermes config path hermes config show
找到输出的配置文件具体路径，例如：
C:\Users\guozh\AppData\Local\hermes\config.yaml
打开这个文件，输入以下配置内容：
model: default: qwen3.5:9b provider: custom base_url: http://127.0.0.1:11434/v1 api_key: ollama context_length: 65536
以上就是完整的Hermes接入步骤，没有任何遗漏。
3. 开始本地玩Agent
1) 想直接理解一张图片的内容？只需告诉它图片路径即可：
2) 将其当作OCR工具使用，快速提取图片中的文字信息：
3) 自动分析Excel文件，只需告诉它文件所在位置，过程中它会自动安装pandas等数据分析包：
最终给出分析结论：
中间如果遇到问题，Hermes会自动进行处理：
如果超出模型上下文限制，Hermes会自动执行压缩操作：
Hermes的一大亮点在于它并非一次性聊天工具——它会在多轮使用过程中自动更新用户画像和长期记忆：
比如这里显示“User profile updated · Memory updated”，说明它已经将本轮对话中具有长期价值的信息写入了记忆库。
由于篇幅限制，更多实用且有趣的应用场景，大家可以自行探索。总体而言，在本地玩Agent确实值得一试。
最后总结一下
虽然Qwen3.5:9B这样的模型在绝对能力上不及云端满血版本，但实测和日常使用体验表明，它配合Hermes能够胜任大量本地办公任务，运行起来确实非常流畅顺滑。
对于AI爱好者来说，在本地搭建属于自己的Agent，完全消耗本地算力，token可以随意调用，这种掌控感让人倍感愉悦。
结论明确：Qwen3.5:9B + Hermes，到目前为止，很可能是本地玩Agent的最佳组合。感兴趣的读者，可以根据文中步骤亲自尝试一下。