7月14日，腾讯混元团队宣布了一项重要举措：为响应开源社区的呼声，他们将旗舰模型Hy3的权重一次性量化至1bit和4bit，并直接打包成GGUF格式。这意味着什么？借助llama.cpp生态，这款拥有近3000亿参数的模型，竟然能够实现单卡部署，甚至只要内存足够，本地机器也能顺利运行。

回到Hy3模型本身，其原始BF16权重接近600GB，这绝非小事，需要多卡服务器才能承载。经过量化处理后，效果如何？1bit版本被压缩至85.5GiB，体积缩小了6.7倍，单张96GB推理显卡即可轻松部署；4bit版本体积为169.9GiB，两张推理显卡也能应对。实测数据极具说服力：4bit版本在Agent、多语言代码、工具调用等任务上，表现几乎与满血模型持平；1bit版本在长文理解、Agent与代码任务上依然稳健，仅小幅回落。此外，团队还同步提供了GPTQ Int4版本，支持vLLM部署，为用户提供了更多选择。

另一个值得关注的亮点是：团队专门开发了llama.cpp补丁，以支持MTP投机解码。启用该功能后，1bit版本解码速度提升约50%，4bit版本更是提升了近60%。这种优化对于实际部署而言非常实用。目前，相关量化模型与部署指南已在HuggingFace上线，感兴趣的用户可以直接前往体验。