7月14日，腾讯混元正式推出Hy3极致量化版本。这意味着，用户只需配备一张高端显卡，即可在本地流畅运行这一超大规模MoE大模型。 Hy3是腾讯自研的混合专家架构旗舰模型，总参数量高达295B，但推理时仅激活21B参数，并支持256K超长上下文。在代码生成、智能体调度、长文档理解等任务中，其表现足以媲美更大规模的海外旗舰模型。不过，原生BF16权重文件高达598GB，硬件部署门槛确实较高。 为了降低开发者的使用门槛，团队对模型进行了梯度量化压缩，并推出三个版本，分别适配不同应用场景： - **极限轻量化IQ1_M（1bit）版本**：权重仅85.5GiB，压缩幅度达6.7倍。单张96GB推理显卡即可完整承载，非常适合硬件资源有限的本地离线使用。 - **Q4_K_M（4bit）量化包**：体积169.9GiB，双显卡可稳定运行，模型输出精度几乎与原生满血版本保持一致。 - **GPTQ Int4版本**：原生适配vLLM推理框架，依托高并发、低延迟特性，主要面向企业级线上API服务场景。 实测数据显示，此次量化方案在大幅压缩显存占用的同时，模型核心能力的衰减被控制在极低水平。4bit版本的输出概率分布、Top-K选择与BF16原版几乎一致。在多语言代码、工具调用、长文解读、Agent任务等评测中，成绩几乎没有明显下滑。 即便是极致压缩的1bit版本，长文本理解能力也近乎无损，代码和智能体任务仅有小幅回落。完全能够满足日常问答、文档处理、编程辅助等通用需求。这也在一定程度上打破了“低比特量化必然大幅降智”的行业痛点。 为了进一步提升本地交互的流畅度，腾讯还针对性地开发了llama.cpp专属补丁，补齐了框架对Hy3原生MTP多令牌投机解码机制的适配。开启MTP加速后，令牌接受率稳定维持在60%左右。1bit量化版本的解码速度提升了约50%，4bit版本提速接近60%，本地大模型生成卡顿的问题得到了大幅缓解。