腾讯混元推出0.3B端侧模型，国内首条2Bit量化产业路线获突破
2月10日，腾讯混元团队推出了面向消费级硬件场景的“极小”模型HY-1.8B-2Bit。这款模型基于1.8B参数的小尺寸架构，通过创新的2Bit量化技术，实现了仅约0.3B的等效参数量，实际存储占用更是低至约600MB，甚至比一些常见的手机应用还要小巧，为端侧部署带来了新的突破。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
该模型基于混元团队首创的产业级2Bit端侧量化方案，通过对HY-1.8B-Instruct模型进行2比特量化感知训练产出。模型体积被大幅压缩至原始精度模型的六分之一，同时在真实端侧设备上的生成速度提升了2-3倍，用户体验得到显著改善。在能力方面，模型完整保留了原版的思维链特性，能够为不同复杂度的任务提供相应深度的推理过程。这是业界首个实现2比特产业级量化的端侧模型实践。
左图为HY-1.8B原始精度模型，右图为HY-1.8B-2Bit模型，量化后的模型速度明显更快。
随着大语言模型日益普及，如何将它们高效地部署到手机、耳机或者智能家居等设备中，成为行业面临的一大挑战。尤其在许多对模型的离线部署、私密性有更高要求的场景下，我们需要更多能够在端侧运行且兼顾小巧体积与强性能的模型。端侧部署的展开，本质上是一条追求“小而精，快而准”的艰难探索之路，我们既需要模型足够聪明以应对千变万化的真实需求，又必须将其约束在极其有限的硬件资源内并实现快速推理，这就好比为模型进行了一场“减脂增肌、减重提质”的改造。
比特是计算机存储的最小单位，1比特能表示2种状态（0或1），2比特能表示4种状态，依此类推。通常模型的精度有2比特、4比特、8比特、32比特等多种表示方法，数值越大意味着模型的精度越高，但所占用的内存也越大。
虽然2比特量化会带来较大的精度损失，但通过量化感知训练和先进的量化策略，现已能够让2比特模型接近全精度模型的性能。在模型能力方面，对比4比特PTQ模型版本，它在数学、代码、科学等指标上表现相当，真正实现了“小而强”的设计目标。
技术层面，量化作为大模型部署上线不可或缺的一环，肩负着降低部署成本与保精度的双重使命。大部分情况下，对于Int4、Int8、FP8的压缩精度要求，采用PTQ量化策略即可实现几乎无损的压缩。但随着原始模型体积的缩小、压缩比特数的进一步降低，PTQ带来的量化损失是巨大的。因此，对于原始模型大小仅为1.8B、量化比特数只有2比特的HY-1.8B-2Bit，混元团队采用了量化感知训练策略，显著提升了量化后模型的性能。
腾讯混元还通过数据优化、弹性拉伸量化以及训练策略创新三种方法，最大限度地提升HY-1.8B-2Bit的全科能力。
部署方面，腾讯混元提供了HY-1.8B-2Bit的GGUF-Int2格式模型权重与BF16伪量化权重。对比原始精度模型，HY-1.8B-2Bit能够灵活用于端侧设备上。该模型也已在Arm等计算平台上完成适配，可部署于启用Arm SME2技术的移动设备上，并实现高效运行。
在MacBook M4芯片上，通过固定线程数为2，测试了不同窗口大小下的首字时延和生成速度。模型选择FP16、Q4、HY-1.8B-2Bit三种GGUF格式作为对比。在1024输入长度内，首字时延能够保持3-8倍的加速；生成速度上，在常用窗口大小下对比原始模型精度，HY-1.8B-2Bit能够实现至少2倍的稳定加速。
在天玑9500上同样进行了测试，对比HY-1.8B-Q4格式，首字时延能够加速1.5-2倍，生成速度加速约1.5倍。
当前，HY-1.8B-2Bit的能力仍受限于监督微调的训练流程，以及基础模型本身的性能与抗压能力。针对这一问题，混元团队未来将重点转向强化学习与模型蒸馏等技术路径，以期进一步缩小低比特量化模型与全精度模型之间的能力差距，从而为边缘设备上的大语言模型部署开拓更广阔的应用前景。
项目页面已开源。
模型地址已公布。
技术报告已发布。
相关攻略
IT之家 3 月 28 日消息，“微信珊瑚安全”公众号今日发文，腾讯公司为激励正能量创作者，制定推出《腾讯 2026 正能量创作者支持计划》，IT之家整理如下：专项流量扶持计划：推出“北极星计划”，
雷递网 雷建平 3月28日星环信息科技（上海）股份有限公司（简称：“星环科技”）日前递交招股书，准备在港交所上市。星环科技是2024年10月在科创板上市，当时发行价为47 34元，发行3021万股，
智东西作者｜江宇编辑｜冰倩智东西3月27日报道，今日，在2026中关村论坛“人工智能主题日”现场，昆仑万维旗下天工AI集中发布了其最新的“AIGC全家桶大模型”。其中包括：游戏世界模型Matrix-
智东西作者 程茜编辑 李水青智东西3月27日报道，今日，在腾讯云上海城市峰会期间，腾讯云AI智能体产品总监黄广民接受了智东西等媒体的采访。他在采访中透露了智能体工具CodeBuddy、WorkBud
IT之家 3 月 27 日消息，腾讯云今日正式发布 Agent 产品全景图，构建了从个人到企业、从基础设施到上层场景应用的完整产品体系。该体系围绕 Agent 基础设施层、模型服务层、技能生态层、A
热门专题
热门推荐
本讲义讲解如何在Windows 2000操作系统中设置并启用远程桌面连接功能。1、在Windows 2000系统环境下，需先放入正式版Windows XP或Windows Serv
在番茄免费小说上阅读时，有时我们可能会因为各种原因想要删除已下载的书籍。下面就为大家详细介绍一下番茄免费小说书籍删除的操作方法。首先，打开番茄免费小说应用程序。进入主界面后，点击右
在网上热门游戏中，“羊蹄山之魂无双武藏”的打法颇具挑战性。以下为你带来详细攻略。首先，了解无双武藏的技能特点至关重要。他拥有多种攻击方式，包括近战的快速连击和范围较大的强力横扫。要
PChome消息，近期，消费电子市场正经历一场由AI算力抢占产能、存储成本持续攀升所引发的大范围“涨价潮”，内存价格的上涨已迅速传导至包括手机、笔记本电脑、平板电脑在内的各类终端产品，导致市场售价普
3月29日消息，据媒体报道，TCL空调广州智能制造基地近日在广州南沙正式投产。在AI智造能力、零碳运营理念与全场景智慧生态的共同驱动下，该基地2026年预计实现产值30亿元，“十五五”期间目标突破1