2025年7月14日，腾讯混元团队公布了一项令社区振奋的消息。自Hy3模型上线并开源以来，用户们一直期待推出量化版本。毕竟，295B参数的庞大模型，仅靠单张显卡根本无法运行。如今，团队终于回应了社区的呼声——他们将Hy3的权重分别量化为1bit和4bit，并打包成GGUF格式，适配llama.cpp生态。这意味着，原本只能依赖多卡集群运行的旗舰模型，如今最少只需一张推理显卡，甚至内存足够大的本地机器也能流畅运行。

官方详细说明如下：

从参数规模来看，Hy3本身是一款295B参数的旗舰级AI模型，在同尺寸模型中智能水平相当突出，甚至能与更大尺寸的模型一较高下。它在各类产品与生产力任务中的实用价值显著提升。然而，问题在于其BF16权重接近600GB，若要充分发挥全部实力，多卡服务器是不可或缺的基础设施。

1bit 版本可塞入单卡，4bit 版本接近满血性能

首先来看1bit版本。我们提供了IQ1_M极限量化版本，将权重从598GB压缩至85.5GiB，体积缩小了6.7倍。这意味着什么？一张96GB的推理显卡即可完成部署。对于硬件条件有限、但希望在本地运行旗舰模型的用户来说，1bit版本是一个非常现实的选择。

同时，4bit量化版本Q4_K_M也同步上线，体积为169.9GiB，两张推理显卡即可承载。如果目标是在有限的资源成本内获得更接近满血模型的效果，那么4bit版本无疑是更稳妥的方案。

此外，我们还提供了GPTQ Int4版本。该版本可直接通过vLLM部署并提供对外服务，天然享受vLLM生态在高并发、低延迟方面的优势，更适合服务端部署场景。

压缩后性能并未崩塌

量化之后模型性能是否会下降？这是最直接的疑问。从评测结果来看，4bit版本的表现相当扎实。在大多数情况下，它给出的首选答案以及Top-K概率分布都与BF16原始模型保持一致。落实到实际任务中，无论是Agent能力、多语言代码、工具调用，还是长文理解，成绩都接近满血模型。GPTQ Int4版本在评测集上的性能下降幅度也非常有限，整体完全在可接受范围内。

真正让人有些意外的是1bit版本。按照直觉，压缩到1bit附近，模型难免会变笨——但Hy3的1bit版本在主流任务上依然表现稳定。长文理解几乎与原始模型持平，Agent与代码方向也保持得相当好，仅有小幅回落。在日常的编码辅助、工具调用、长文档处理和常规问答任务中，它已经完全够用。

MTP 投机解码加速

要让Hy3真正运行顺畅，MTP投机解码是一个关键环节。为此，团队专门开发了llama.cpp的补丁，补齐了对Hy3模型结构MTP的支持，并直接发布了可用的构建与部署指引（详见HuggingFace仓库）。开启MTP后，接受率稳定在60%左右，1bit版本的解码速度提升约50%，4bit版本提升接近60%。实际交互体验依然流畅，并未因量化而过多牺牲使用感受。