最强端侧开源 AI模型 Zamba2-mini 登场：12 亿参数，4bit 量化下内存占用小于 700MB
最强端侧开源 AI模型 Zamba2-mini 登场：12 亿参数，4bit 量化下内存占用小于 700MB
近日，AI领域有个新动静值得关注。Zyphra公司在8月27日正式发布了Zamba2-mini 1.2B模型。别看它名字里带着“mini”，实力可不容小觑——它仅有12亿参数，但在4bit量化下，内存占用能稳稳地压在700MB以内，团队将其定位为当前端侧设备的“SOTA”小语言模型。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
这里简单科普一下，SOTA是“state-of-the-art”的缩写，它并非某个具体型号，而是指在特定研究任务中，目前性能最好、技术最前沿的那个模型。
那么，这个“小身材”到底有多大能量？从公布的数据看，Zamba2-mini虽然尺寸紧凑，但其性能足以媲美一众参数更大的知名模型，例如谷歌的Gemma-2B、Huggingface的SmolLM-1.7B、苹果的OpenELM-1.1B以及微软的Phi-1.5。
尤其在推理任务中，它的优势更为突出。与Phi3-3.8B这类模型对比，Zamba2-mini的“首次令牌时间”（即从用户输入到模型给出第一个响应的延迟）直接缩短了一半。与此同时，内存占用还减少了27%，这对于追求实时响应和有限资源的端侧场景来说，无疑是关键性提升。
能达到这样的效果，核心在于其高度优化的模型架构。Zamba2-mini巧妙地融合了多种神经网络设计的优点，最终达成一个平衡：既能保持像大型密集变压器那样高质量的文本生成能力，又能以更小模型的计算和内存效率来运行。
与它的前代Zamba1相比，一个关键进步是引入了两个共享注意力层。这种双层设计增强了模型在不同网络深度处理和信息保持的能力，从而整体拉高了性能。此外，在共享注意力层中加入旋转位置嵌入，也被证实带来了小幅的性能提升。这些细节优化，恰恰体现了团队在模型设计上那种持续精进、追求实效的思路。
当然，优秀的架构离不开高质量数据的喂养。Zamba2-mini是在一个规模高达三万亿token的庞大数据集上进行预训练的，数据来源包括Zyda及其他公开渠道。
这个数据集经过了极为严格的过滤和去重处理，以确保训练素材的质量。在后续的退火阶段，模型还在额外1000亿个极高品质的token上进行了精调，进一步打磨了其能力。
最后，还有一个对开发者社区非常利好的消息：Zyphra已承诺，Zamba2-mini将在Apache 2.0许可下开源。这意味着更多的开发者和企业能够自由地使用、研究和改进它，有望进一步推动端侧AI应用的创新与普及。
附上参考地址
- Zyphra Unveils Zamba2-mini: A State-of-the-Art Small Language Model Redefining On-Device AI with Unmatched Efficiency and Performance
- Model Card for Zamba2-1.2B
- Zamba2-mini (1.2B)
热门专题
热门推荐
TON网络最近实施了一次重要的升级，交易费用大幅下降，总体费用降低至近乎零的水平，同时引入了不受网络拥堵影响的固定定价机制。 最近，TON网络完成了一次关键升级，效果立竿见影：交易费用被大幅削减，整体成本降至近乎忽略不计的水平。更重要的是，它引入了一套不受网络拥堵影响的固定定价机制。这一变革带来的不
在怪物猎人物语3中，泡狐龙蛋是玩家们十分渴望得到的珍贵物品。以下为大家详细介绍获取泡狐龙蛋的方法。 探索特定区域 想找到泡狐龙蛋，首先得去对地方。游戏里有些区域的“出货率”明显更高，比如生态丰富的水没林，那里可是泡狐龙时常出没的“老巢”。 不过，光知道区域还不够，关键在于“仔细”二字。你需要像个真正
在重返未来1999中，狂想可燃点是一个极具挑战性但又充满乐趣的玩法。合理的队伍搭配能够让玩家在这个玩法中更加得心应手，下面就为大家推荐几套实用的狂想可燃点队伍。 控制爆发流 核心角色：星锑、红弩箭、十四行诗 这套阵容的思路非常清晰：以控制创造机会，用爆发终结战斗。星锑的核心优势在于其强大的单体爆发技
花蕾绽爱意，冰晶映柔情！国民原创乐园游戏《蛋仔派对》×《精灵梦叶罗丽》联动重磅上线 次元壁，又一次被魔法打破了。4月30日，国民原创乐园游戏《蛋仔派对》与经典动画《精灵梦叶罗丽》的联动正式开启。罗丽公主与冰公主携手降临蛋仔岛，仙光流转指尖，一场关于缔结魔法契约的奇妙邂逅，正等着你。 双生公主，诠释魔
牧场物语风之繁华集市：核心农作物种植指南 想在集市上站稳脚跟，选对作物是关键。今天，我们就来聊聊游戏中几种基础又重要的农作物，看看它们各自有什么特点，以及如何为你的牧场和集市生意添砖加瓦。 小麦 先说小麦，这可是基础中的基础。它的优势非常明显：生长周期短，从播种到收获，十来天就能搞定。这意味着资金回