游乐游手机版
首页/AI教程/文章详情

DeepSeek最新模型上线,全新注意力机制源自北大ACL最佳论文

时间:2026-06-23 14:34
DeepSeek最新实验性模型今天正式上线,引发业界广泛关注。此次发布的模型代号为DeepSeek-V3 2-Exp,官方将其定义为最新的实验性探索版本,专注于注意力机制创新。V3 2的核心构建在DeepSeek-V3 1-Terminus之上,最大变化是首次引入了名为「DeepSeek稀疏注意力」

DeepSeek最新实验性模型今天正式上线,引发业界广泛关注。

此次发布的模型代号为DeepSeek-V3.2-Exp,官方将其定义为最新的实验性探索版本,专注于注意力机制创新。

V3.2的核心构建在DeepSeek-V3.1-Terminus之上,最大变化是首次引入了名为「DeepSeek稀疏注意力」(DeepSeek Sparse Attention,简称DSA)的全新机制。这一设计专门针对长上下文场景,旨在实现更快、更高效的训练与推理。

值得特别强调的是,这是DeepSeek首次用自己的品牌命名一项关键技术——注意力机制。

很多人可能已经注意到,DSA并非凭空诞生。它正是此前与北大合作、梁文锋作为署名作者的那篇ACL 2025最佳论文中,原生稀疏注意力(NSA)的改进版本。

技术报告中的引用内容

全新注意力机制

DeepSeek-V3.2-Exp的核心武器「DeepSeek稀疏注意力」首次实现了细粒度稀疏注意力机制。在几乎不影响模型输出效果的前提下,它显著提升了长文本训练和推理的效率。

论文地址:https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/blob/main/DeepSeek_V3_2.pdf

与之前的模型相比,DSA最大的不同在于:它不再让每个Token面面俱到地关注序列中的所有其他Token,而是引入了一个名为「闪电索引器」的高效组件。

这个索引器能快速判断,对于当前正在处理的Token,序列中有哪些历史Token最为重要。之后,模型只从这些重要Token中选取Top-k——比如2048个——进行精细计算。

这样一来,核心注意力的计算复杂度就从O(L²)骤降至O(Lk),其中k是一个远小于L的固定值。在处理长文本时,这种效率提升的幅度相当可观。

更关键的是,这种效率提升并未以牺牲性能为代价。

在DeepSeek-V3.1的基础上,团队先用一个简短的「密集预热」阶段来初始化闪电索引器,让它学会模仿原有模型的注意力分布。然后进入「稀疏训练」阶段,使整个模型适应新的稀疏模式。最后,沿用与前代模型完全相同的后训练流程,包括专家蒸馏和混合强化学习(GRPO)。

为了严谨评估引入稀疏注意力带来的影响,DeepSeek特意将V3.2-Exp的训练设置与V3.1-Terminus进行了严格对齐。

DeepSeek-V3.2-Exp的架构图,其中DSA在MLA下实例化。

评估结果也很说明问题:无论是在短文本还是长文本任务上,DeepSeek-V3.2-Exp的表现与其「密集注意力」的前身V3.1-Terminus相比,均未出现实质性的性能下降。

而在实际部署的推理成本测试中,端到端的加速效果和成本节约则非常显著。

虽然DeepSeek-V3.2-Exp目前仍是一款实验性模型,但它所展示的「性能不降、成本骤减」特性,已经为大模型突破长文本瓶颈指明了一条充满希望的工程路径。

价格更便宜

没错,DeepSeek又一次将模型价格拉了下来。

得益于新模型服务成本的大幅降低,官方API价格也相应下调,新价格即刻生效。在新的价格政策下,开发者调用DeepSeek API的成本将降低50%以上。

目前API的模型版本为DeepSeek-V3.2-Exp,访问方式保持不变。

最后,论发布节奏,DeepSeek这次算是听取了网友的建议,给众多AI圈的朋友们放了个好假。

参考资料:
https://api-docs.deepseek.com/zh-cn/news/news250929

来源:https://www.aiagiai.com/14945.html
上一篇奥特曼与量子计算奠基人探讨GPT-8 下一篇顶级AI大牛加入阿里通义 聚焦下一代大模型
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
RAG四标融合企业知识资产体系四库协同GEO优化实践
AI教程 · 2026-07-01

RAG四标融合企业知识资产体系四库协同GEO优化实践

生成式AI正在彻底改写信息检索的底层逻辑。传统SEO依赖关键词堆砌和外链建设的策略,在大模型的内容采信规则下已经基本失效。取而代之的,是生成式引擎优化(GEO)。它不再关注外链数量,而是重点衡量你的知识是否结构化、证据链是否坚实、信源是否可靠——这些维度才是RAG(检索增强生成)架构真正看重的核心指

一个普通上班人分享WorkBuddy使用心得与真实体验
AI教程 · 2026-07-01

一个普通上班人分享WorkBuddy使用心得与真实体验

前言 最近我开始使用WorkBuddy——这是腾讯推出的一款AI办公工作台。差不多用了一周时间,趁印象还新鲜,把真实的使用感受记录下来,给还在犹豫的朋友做个参考。不吹不黑,只说实际体验。 初印象:不只是聊天机器人 之前用过不少AI工具,大多数就是个对话框,你问它答,答完就结束了。WorkBuddy不

AI幻觉变真功能实战教程:App Inventor 2视频录制拓展一周开发实录
AI教程 · 2026-07-01

AI幻觉变真功能实战教程:App Inventor 2视频录制拓展一周开发实录

先讲一个颇具戏剧性的开端。 这件事的开端颇显荒诞——有用户前来咨询,称AI Pro版的介绍中提到我们有一款“视频录制拓展”。团队全体成员都感到困惑,翻遍产品列表,发现根本不存在该组件。AI那种“一本正经胡说八道”的能力,这次确实让我们陷入尴尬。 按常理,此事到此便可结束——一句“抱歉,暂时没有这个拓

别再混淆OLAP和SQL-on-Hadoop两者查询本质不同
AI教程 · 2026-07-01

别再混淆OLAP和SQL-on-Hadoop两者查询本质不同

OLAP和SQL-on-Hadoop虽都使用SQL查询数据,但本质不同。SQL-on-Hadoop负责海量数据批量计算与ETL,查询速度秒级至分钟级;OLAP通过预聚合实现毫秒级多维分析,适合BI报表。两者在数据平台分工协作,前者是后厨加工,后者是前台快速服务。

GEO优化深度解析:AI偏好FAQ还是长文内容?
AI教程 · 2026-07-01

GEO优化深度解析:AI偏好FAQ还是长文内容?

在GEO优化中,AI对内容形式无统一偏好:FAQ在简单查询中引用率41%,长文在复杂查询中达58%。内容应基于用户意图选择形式,FAQ适配简单事实类问题,长文建立主题权威,两者互补而非替代。