国内AI芯片行业迎来重大突破——寒武纪科技宣布成功适配深度求索最新实验性模型DeepSeek-V3.2-Exp,同时宣布将其自研的大模型推理引擎vLLM-MLU全面开源。这不仅是寒武纪软硬协同能力的集中展现,也为国内AI开发者提供了强大的技术支撑。
技术创新突破
DeepSeek-V3.2-Exp采用了创新的Sparse Attention机制,这种设计显著提升了模型处理复杂任务的能力。与传统架构相比,该技术能够自动优化注意力权重分布,在保证准确率的同时大幅减少计算资源占用,尤其擅长处理长文本等复杂数据。
性能优化优势
寒武纪研发团队采取了双管齐下的优化方案:基于Triton算子实现模型快速移植,同时利用BangC融合算子进行深度性能调优。实测数据显示,模型在寒武纪平台上的推理速度提升了40%,长序列训练成本降低了30%以上。

开源生态建设
全新开源的vLLM-MLU引擎针对MLU芯片特性进行了专项优化,具备动态批处理、智能内存管理等先进特性。开源首周即在GitHub获得超过800个star,社区贡献者已提交多个关键模块的优化方案。
- 支持主流AI模型快速部署
- 提供完整的开发文档和示例
- 特别适合金融、医疗等专业领域
行业影响深远
此次合作展现了国内企业在AI基础技术领域的快速演进。深度求索方面透露,双方正在筹备新一代模型的联合研发,重点突破模型量化与异构计算的深度融合技术。业内专家预测,这将推动智能计算向更高效、更经济的方向发展。
项目开源地址:https://github.com/Cambricon/vllm-mlu
