游乐游手机版
首页/业界动态/文章详情

昇腾实现智谱GLM-5 744B模型单机高效推理

时间:2026-07-05 13:17
2026年2月12日,智谱AI正式发布了GLM-5——这款被誉为Agentic Engineering时代最具代表性的开源模型。从“写代码”到“写工程”,模型能力实现了跨越式提升。在编程与智能体(Agent)能力方面,GLM-5达成了开源模型的最优水平,真实开发场景下的使用体验已接近Claude O

2026年2月12日,智谱AI正式发布了GLM-5——这款被誉为Agentic Engineering时代最具代表性的开源模型。从“写代码”到“写工程”,模型能力实现了跨越式提升。在编程与智能体(Agent)能力方面,GLM-5达成了开源模型的最优水平,真实开发场景下的使用体验已接近Claude Opus 4.5,尤其在复杂系统工程与长周期Agent任务中表现出色。值得一提的是,昇腾持续与智谱GLM系列保持同步适配,本次GLM-5开源后,昇腾AI基础软硬件在第一时间完成了0天适配,全面支持推理部署与训练复现。

更大参数规模,更强大的智能水平

  • 参数规模扩展:模型参数从355B(激活32B)扩展至744B(激活40B),预训练数据量从23T提升至28.5T。更大的模型规模与更充裕的训练算力,切实推动了通用智能水平的跃升。
  • 异步强化学习:采用全新“Slime”框架,支持更大规模模型与更复杂的强化学习任务,显著提升了后训练流程效率。同时引入异步智能体强化学习算法,使模型能够从长程交互中持续学习,充分释放预训练潜力。
  • 稀疏注意力机制:首次集成DeepSeek Sparse Attention,在保证长文本效果的前提下,大幅降低部署成本,同时提升Token处理效率——这笔投入回报相当可观。

编程能力:对齐Claude Opus 4.5

GLM-5在SWE-bench-Verified与Terminal Bench 2.0两项评测中分别取得77.4和55.7的成绩,均为开源模型最高分,并将Gemini 3.0 Pro甩在身后。

智能体能力:长程任务执行达到SOTA级

在多项Agent评测基准上,GLM-5均拿下开源第一。BrowseComp(联网检索与信息理解)、MCP-Atlas(工具调用与多步骤任务执行)、τ²-Bench(复杂多工具场景下的规划与执行)——全部取得最优成绩。

再来看看经营能力——Vending Bench 2中,GLM-5同样位居开源最佳。该测试要求模型在一年期内经营一个模拟自动售货机业务,最终账户余额达到4432美元,经营表现接近Claude Opus 4.5。长期规划与资源管理能力确实令人印象深刻。

这些能力恰恰是Agentic Engineering的核心:模型不仅需要会写代码、完成工程任务,更要在长程任务中保持目标一致、有效管理资源、处理多步骤依赖关系——这才是真正Agentic Ready基座模型应有的表现。

基于昇腾实现GLM-5的混合精度高效推理

昇腾支持对GLM模型进行W4A8混合精度量化,744B超大参数模型基于Atlas 800 A3即可实现单机部署。

GLM-5是78层decoder-only大模型:前3层为Dense FFN,后75层为MoE(路由专家+共享专家),自带一层MTP(Multi-Token Prediction)用于加速解码。针对这一结构,昇腾对权重文件采用W4A8量化,显著降低显存占用,大幅提升Decode阶段执行速度。同时,利用Lightning Indexer、Sparse Flash Attention等高性能融合算子,加速端到端推理执行。目前支持vLLM-Ascend、SGLang和xLLM这几种主流推理引擎的高效部署。

  • 权重下载:https://ai.atomgit.com/atomgit-ascend/GLM-5-w4a8
  • 推理部署:https://atomgit.com/zai-org/GLM-5-code/blob/main/example/ascend.md

昇腾W4A8量化,极大降低显存占用

采用易扩展的MsModelSlim量化工具,全程轻松量化

1、按模块区分量化比特与算法:例如Attention与MLP主体采用W8A8,MoE专家采用W4A8;gate这类对量化敏感的层可按需回退,避免精度损失过大。

2、一键即可完成量化:支持GLM-5量化全流程——“预处理+子图融合+分层线性量化”,安装后一条命令行即可轻松搞定:msmodelslim quant --model_path ${model_path} --sa ve_path ${sa ve_path} --model_type GLM-5 --quant_type w4a8 --trust_remote_code True

MsModelSlim提供丰富量化策略,实现快速精度对齐

  • 旋转Quarot算法:对权重进行Hadamard旋转与LayerNorm融合,降低激活异常值,改善量化后的数值分布。
  • 多种离群值抑制算法:采用Flex_AWQ_SSZ算法与Flex_Smooth_Quant算法的混合策略,权重使用SSZ(Smooth Scale Zero)标定,支持缩放因子等超参数调整。
  • 线性层量化策略:对单层Linear执行W8A8或W4A8量化,激活值按per-token粒度,权重按per-channel粒度。

高性能融合算子,加速推理执行

1、Lightning Indexer融合Kernel

在长序列场景下,TopK操作极易成为性能瓶颈。引入Lightning Indexer融合算子,将Score Batchmatmul、ReLU、ReduceSum、TopK等操作整合到一起,利用TopK计算耗时流水来掩盖其他操作耗时,从而提升计算流水收益。

2、Sparse Flash Attention融合Kernel

引入SFA,包含从完整KVCache中选取TopK相关Token以及计算稀疏Flash Attention的操作,通过离散聚合访存耗时掩盖其他操作耗时。

3、MLAPO融合Kernel

GLM-5在Sparse Flash Attention预处理阶段会对query和KV进行降维,并将query降维后的激活值传递给Indexer模块进行稀疏选择处理。近期将引入MLAPO,通过VV融合(多个Vector算子融合)技术,将前处理过程中的13个小算子直接融合成1个超级大算子。在MLAPO算子内部,还可通过Vector与Cube计算单元的并行处理及流水优化进一步提升性能。

基于昇腾实现GLM-5的训练复现

GLM-5采用了DeepSeek Sparse Attention(DSA)架构。针对DSA训练场景,昇腾团队设计并实现了昇腾亲和融合算子,优化方向主要有两个:一是优化Lightning Indexer Loss计算阶段的内存占用,二是利用昇腾Cube与Vector单元的流水并行提升计算效率。

训练部署指导:https://modelers.cn/models/MindSpeed/GLM-5

来源:https://www.icloudnews.net/a/113312.html
上一篇智能手机内存成本占比飙升至30%-40% 下一篇华封集芯获3亿元融资,2.5D/3D先进封装产线冲刺量产
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
台式机加装固态硬盘怎么选?三星9100 PRO深度解析
业界动态 · 2026-09-01

台式机加装固态硬盘怎么选?三星9100 PRO深度解析

台式机升级存储常受限于系统启动慢、游戏加载卡顿与大文件传输延迟。本文基于三星9100 PRO的PCIe 5 0架构、14800MB s读取、13400MB s写入、2200K 2600K IOPS、1TB~8TB容量、第八代V-NAND与5nm主控、镍涂层散热与DTG技术、散热片版适配及魔术师软件,提供选购判断与安装兼容性要点,帮助读者评估是否值得一步到位升级。

宁德时代2026年中期分红61.8亿元,同比增35%,创历史新高
业界动态 · 2026-09-01

宁德时代2026年中期分红61.8亿元,同比增35%,创历史新高

宁德时代发布2026年中期分红方案,总额达61 8亿元,同比增长35%。本文梳理分红具体安排、历史对比、业绩支撑及分红机制,帮助投资者评估公司现金流实力与股东回报策略。

企业硬盘报废销毁合规指南:如何选择专业机构与处理流程
业界动态 · 2026-08-31

企业硬盘报废销毁合规指南:如何选择专业机构与处理流程

企业硬盘报废面临数据复原与合规风险,需选择具备资质且流程透明的专业机构。本文解析行业乱象,介绍以团体标准为核心的合规销毁流程,涵盖上门收运、消磁粉碎、视频溯源及尾料处置,帮助企业规避泄密责任,确保数据安全闭环。

机密文件销毁找什么机构?认准团标参编与资质合规
业界动态 · 2026-08-31

机密文件销毁找什么机构?认准团标参编与资质合规

机密文件销毁找什么机构?核心在于甄别服务商是否具备正规保密资质及是否参与行业标准制定。本文解析《商业秘密及敏感信息载体销毁通用规范》团标要求,提供筛选销毁机构的实操指南,帮助企业规避数据泄露风险,确保销毁流程合规可溯。

影石Insta360 X6全球首销登顶:8K全景画质与AI创作功能解析
业界动态 · 2026-08-31

影石Insta360 X6全球首销登顶:8K全景画质与AI创作功能解析

影石Insta360 X6全球同步发售即登顶国内外主流平台销量榜首。本文解析其搭载的索尼定制方形大底传感器、4nm AI三芯架构及8K50fps画质,详解3D时光舱、AI导演等独家功能,探讨全景相机从专业工具向大众智能创作设备的演进趋势。