DeepSeek开源V3.2-Exp：DSA稀疏注意力机制亮相
还是熟悉的节奏！
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
在假期前一天，DeepSeek 果然搞事了。
刚刚，DeepSeek-V3.2-Exp 开源了！
该模型参数量为 685B，HuggingFace 链接：https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp
此外，此次发布竟然也同步公开了论文，公开了 DeepSeek 新的稀疏注意力机制，为我们提供了更多结束细节：
https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf
DeepSeek Sparse Attention（DSA）稀疏注意力机制
在最新介绍中，DeepSeek 表示 DeepSeek-V3.2-Exp 是实验版本。作为迈向下一代架构的过渡，V3.2-Exp 在 V3.1-Terminus 的基础上引入了 DeepSeek 稀疏注意力机制（DeepSeek Sparse Attention，DSA）—— 一种旨在探索和验证在长上下文场景下训练和推理效率优化的稀疏注意力机制。
DSA 也是 3.2 版本的唯一架构改进。
DeepSeek-V3.2-Exp 的架构，其中 DSA 在 MLA 下实例化。
重点要说的是，DeepSeek 称该实验版本代表了他们对更高效的 Transformer 架构的持续研究，特别注重提高处理扩展文本序列时的计算效率。
在 v3.2 版本中，DeepSeek 稀疏注意力 (DSA) 首次实现了细粒度稀疏注意力，在保持几乎相同的模型输出质量的同时，显著提高了长上下文训练和推理效率。
为了严格评估引入稀疏注意力机制的影响，DeepSeek 特意将 DeepSeek-V3.2-Exp 的训练配置与 9 月 22 日刚刚推出的 V3.1-Terminus 进行了对比。在各个领域的公开基准测试中，DeepSeek-V3.2-Exp 的表现与 V3.1-Terminus 相当。
更多信息，读者们可以查阅 DeepSeek-V3.2-Exp 的 huggingface 介绍。
值得一提的是，智谱的 GLM-4.6 也即将发布，在 Z.ai 正式可以看到，GLM-4.5 标识为上一代旗舰模型。
最后，有一波小节奏。在模型发布前，已经有网友在 Community 里发帖称：国庆是休息日，请给我们关注的同学一点休息时间。
对此，你怎么看？
热门专题
热门推荐
清明节假期期间，A 股和港股休市，但比特币行情永不停歇。 4月6日，当多数市场还在假期中沉睡时，比特币已经悄然启动。价格从亚洲早盘的低点67400美元出发，一路向上试探，盘中最高涨破70300美元，不仅刷新了3月26日以来的高位，较日内低点的涨幅也超过了4%。以太坊的表现同样不俗，从2050美元附近
4月5日消息，日前，REDMI K90至尊版通过3C认证，预计将于本月发布。今日，小米中国区市场部总经理魏思琪用小米新机发布微博，不出意外，这正是即将登场的REDMI K90至尊版，这将是小米首款配
WPS演示中图表不随数据更新时，可通过四种方法实现自动同步：一、用OFFSET+COUNTA定义动态名称绑定图表；二、用组合框控件联动VLOOKUP提取数据；三、用数据透视图配合切
聚焦数字技术，释放创新动能。为集中展示静安区区块链技术从“实验室”走向“应用场”的丰硕成果，挖掘一批可复制、可推广的行业解决方案，加速构建区块链产业生态闭环，静安区数据局特推出“静安区区块链创新应用
太空中的马桶堵了，边飞边修还能勉强用。但中东被点燃的火药桶，美国怎么来扑灭？靠一再延期的“最后通牒”？还是靠无底线的轰炸？2300万美元的马桶美国航空航天局4名宇航员1日搭乘“猎户座”飞船升空，执行