游乐游手机版
首页/科技数码/文章详情

昇腾AI平台首發DeepSeek-V3.2實時0Day漏洞防護方案

时间:2025-12-10 11:57
2025年9月29日,DeepSeek-V3 2-Exp发布并开源,引入稀疏Attention架构。昇腾已快速基于vLLM SGLang等推理框架完成适配部署,实现DeepSeek-V3 2-Exp

2025年9月29日,DeepSeek-V3.2-Exp发布并开源,引入稀疏Attention架构。昇腾已快速基于vLLM/SGLang等推理框架完成适配部署,实现DeepSeek-V3.2-Exp 0day支持,并面向开发者开源所有推理代码和算子实现。

昇腾0Day适配和参考实践

昇腾在DeepSeek-V3.2-Exp一发布开源即实现了DeepSeek-V3.2-Exp BF16模型部署,并在CANN平台上完成对应的优化适配,整体部署策略沿用DeepSeek的大EP并行方案,针对稀疏DSA结构,叠加实现长序列亲和的CP并行策略,兼顾时延和吞吐,在128K长序列下能够保持TTFT低于2秒、TPOT低于30毫秒的推理生成速度。

NPU DeepSeek-V3.2-Exp推理优化实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_inference_guide.md

昇腾针对DeepSeek-V3.2-Exp架构中两个全新的算子:Lightning Indexer (LI) 以及Sparse Flash Attention (SFA),针对性地进行算子Tiling设计、Cube核与 Vector核间的流水优化、计算流程的实现优化等,模型和融合Kernel均已开源。

NPU DeepSeek-V3.2-Exp Ascend C融合算子优化:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_ascendc_operator_guide.md

为进一步提高昇腾融合算子的编程易用性,昇腾CANN首次推出大融合算子的编程体系PyPTO,旨在简化算子开发流程,同时保持高性能计算能力。该框架创新性地采用PTO(Parallel Tensor/Tile Operation)编程范式,以Tensor为基本数据表达方式,构建计算图,实现高效计算与优化。目前在昇腾上已经基于PyPTO完成DeepSeek-V3.2-Exp模型中DeepSeek Indexer Attention和Lightning indexer算子的开发实践,仅需几百行代码即可完成动态Shape算子编程和算子整网运行。

基于PyPTO的Lightning Indexer和DeepSeek Indexer Attention算子开发实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_pypto_operator_guide.md

在昇腾上基于vLLM、SGLang推理框架部署和TileLang算子编程实践

昇腾不仅提供了DeepSeek-V3.2-Exp的最新参考实践,也同步支持vLLM和SGLang等业界主流大模型推理框架部署,提供完整功能,能够让广泛的开发者在社区直接下载相关代码体验DeepSeek-V3.2-Exp模型,可以在昇腾实现融合算子、稀疏访存、多核并行计算等深度优化能力,并持续优化DeepSeek-V3.2-Exp在主流社区的推理性能。

大模型推理框架vLLM及昇腾实现:

https://github.com/vllm-project/vllm-ascend/tree/v0.9.1-dev/examples/deepseek.md

大模型推理框架SGLang及昇腾实现:

https://github.com/sgl-project/sglang/issues/11060

TileLang是由Tile-AI社区发起的Tile-level的类Python的AI编程语言(DSL)项目,在Tile粒度上进行编程和编译,实现模型算子和硬件的高效协同。昇腾已经实现TileLang的Sparse Flash Attention和Lightning Indexer算子开发,后续将支持更完备的NPU算子并提升性能和泛化性。

NPU DeepSeek-V3.2-Exp TileLang算子开发实践:

https://gitcode.com/cann/cann-recipes-infer/blob/master/docs/models/deepseek-v3.2-exp/deepseek_v3.2_exp_tilelang_operator_guide.md

TileLang-Ascend开源社区:

https://github.com/tile-ai/tilelang-ascend

昇腾凭借敏捷协同优化能力,0Day高效完成DeepSeek-V3.2-Exp适配,不仅深度开放自研编程语言AscendC及PyTorch算子源码,也积极拥抱开源生态,同步实现vLLM、SGLang等主流框架的快速支持,并携手开源社区Tile-AI共同开源NPU编程项目TileLang-Ascend。我们诚挚期待全球开发者加入昇腾社区,基于昇腾软硬件平台进行研究和创新,在Agent AI、内容理解等长文本新应用场景带来更好的用户体验,携手推进AI产业迈向新高度。

来源:https://www.itbear.com.cn/html/2025-09/972740.html
上一篇启信宝解读东莞智能终端产业链,解密科技发展核心支撑 下一篇重庆美利亚酒店:融合西班牙风情的山城度假体验
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
理想新车布局预测:L9L与i9上半年发布
科技数码 · 2026-07-04

理想新车布局预测:L9L与i9上半年发布

1月23日消息,综合权威公开信息与行业趋势研判,理想汽车2026年度新车布局规划正式曝光。此番产品线布局,不仅持续深耕SUV市场,同时加速补齐全场景覆盖的拼图。 理想L9旗舰SUV 在增程动力领域,理想L系列将迎来一位新成员——L9L,预计2026年上半年正式上市,预估售价区间为45万至55万元。与

三星消息应用7月停用 部分旧设备可继续使用
科技数码 · 2026-07-04

三星消息应用7月停用 部分旧设备可继续使用

6月29日,多家海外媒体援引三星官方消息证实,三星消息(Samsung Messages)应用将于2026年7月正式终止服务。随着这个截止日期越来越近,依然在使用该应用的Galaxy用户需要尽快迁移到新的默认信息工具。其实过去两年里,三星一直在悄悄引导用户转向谷歌信息(Google Messages

吉利发布2030战略:年销650万辆全面迈向全球前五
科技数码 · 2026-07-04

吉利发布2030战略:年销650万辆全面迈向全球前五

1月22日,吉利控股集团在北京召开战略解析大会,正式发布“一个吉利,全面领先”的2030战略蓝图。战略目标清晰明确:到2030年,全球总销量(含乘用车与商用车)突破650万辆,稳居全球车企前五。其中,新能源车型占比预计达到75%左右,海外销量占比超过三分之一。尤为关键的是,依托全新全球化架构,单车型

OPPO Find X9系列旗舰手机累计销量突破250万部Ultra版超12万部
科技数码 · 2026-07-04

OPPO Find X9系列旗舰手机累计销量突破250万部Ultra版超12万部

OPPO Find X9 Ultra 旗舰机型 回顾产品发布背景:Find X9系列于2025年10月正式登场,作为OPPO年度旗舰产品线,涵盖标准版、Pro版与Ultra版三大版本。该系列的核心竞争力十分明确——影像系统与综合性能的双重显著提升。上市以来,凭借芯片算力、屏幕显示素质、续航表现以及影

IntelliJ IDEA 2025.3.2 版本正式发布
科技数码 · 2026-07-04

IntelliJ IDEA 2025.3.2 版本正式发布

IntelliJ IDEA 2025 3 2 版本现已正式发布。除了常规的漏洞修复与功能完善,本次更新有几个修复点值得格外关注——特别是如果你经常使用终端工具执行命令,或者正在采用远程开发工作流。终端工具窗口的闪烁问题终于得到彻底解决。此前在调用支持同步输出的命令行工具(例如 Claude Code