游乐游手机版
首页/科技数码/文章详情

华为昇腾助力KunLun AI Space实现DeepSeek V3.1 FP8推理,成本降低50%

时间:2025-12-03 17:49
10 月 28 日消息,近期发布的 DeepSeek V3 1 大模型,因搭载了 FP8 精度格式(UE8M0 FP8)引发业界关注。据华为计算今日消息,河南昆仑技术有限公司(简称“昆仑技术”)基

10月28日消息,近期发布的DeepSeek V3.1大模型因搭载了FP8精度格式(UE8M0 FP8)引发业界广泛关注。据华为计算今日透露,河南昆仑技术有限公司(简称“昆仑技术”)基于昇腾AI的Ascend C算子编程语言,研发出一套软FP8解决方案。

据悉,FP8精度格式相比传统的FP16/BF16精度,能够将模型的显存需求直接减半,有效减轻服务器硬件压力;与常见的INT8量化精度相比,不仅推理精度更高,数据表示范围也更广,成功解决了“降成本”与“保效果”之间的核心矛盾。

华为计算:KunLun AI Space 基于昇腾实现 DeepSeek V3.1 FP8 推理,成本减半

▲ 图源:KunLun AI Space 正式截图

该方案实现了“精度无损、成本减半”的双重技术突破:

通过将FP8权重模型输入昇腾硬件,利用精准的反量化算子,将其转换为BF16格式参与计算,既确保了计算过程的准确性,又为后续新FP8权重模型的快速适配预留了灵活空间,无需进行权重重度格式转换;

在模型精度几乎无损的前提下,单台KunLun G8600即可流畅运行满血版DeepSeek V3.1模型;即便在KunLun G5500V2、KunLun G5580等标卡机型上,也能实现模型参数规模翻番,同时大幅提升并发处理能力,让不同硬件配置的用户都能享受到FP8推理带来的技术红利。

华为计算:KunLun AI Space 基于昇腾实现 DeepSeek V3.1 FP8 推理,成本减半

昆仑技术的软FP8解决方案拥有三大核心技术亮点:自研FP8反量化算子,实现显存与内存带宽双减半;算子整图下发,推理效率提升32%;生态级兼容,支持主流模型无缝运行。

从华为计算获悉,KunLun AI Space软FP8解决方案已全面兼容DeepSeek V3.1、DeepSeek-V3 / R1、Qwen3等主流FP8量化模型。同时,该方案具备优异的扩展性,能够快速支持后续新发布的大模型。

来源:https://www.ithome.com/0/893/066.htm
上一篇刘鹏加入沃尔玛中国任山姆会员店新总裁,曾任阿里副总 下一篇腾讯正能量算法专班:打破信息茧房,重塑去中心化推荐
本站内容用于信息整理与展示,如有侵权或内容问题请及时联系处理。

相关推荐

补充同频道和同主题内容,方便继续浏览更多相关内容。

同类最新

继续查看同栏目最近更新的文章。

更多
优必选CEO周剑:家庭机器人生态核心投入过半精力
科技数码 · 2026-07-01

优必选CEO周剑:家庭机器人生态核心投入过半精力

先说几个核心判断:优必选正在布局一盘长远战略。创始人兼CEO周剑在近期一场媒体沟通会上,直接亮出了公司未来的发展路线——工业、商用、家庭陪伴机器人三条业务主赛道并行推进,现阶段每条线各占约一半精力。一边是已经能够稳定创造收入的工业场景,另一边则是他眼中“最具想象力与未来空间”的家庭陪伴领域。工业人形

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛
科技数码 · 2026-07-01

CPO/NPO/OIO开启封装级光连接价值空间,技术路线尚未收敛

6月30日,申银万国在光连接系列研报中重点指出,MPO光连接器领域的投资机会值得高度关注。通俗来说,随着AI算力集群持续扩张,光互联升级带来的连锁效应——数据中心光纤通道数量、前面板端口密度、机柜内光纤管理复杂度——均在同步攀升。光连接器的角色早已超越传统的低价值标准件,如今它直接决定着链路插损、可

龙岗AR实景剧本游内测体验短板有效破解之道
科技数码 · 2026-07-01

龙岗AR实景剧本游内测体验短板有效破解之道

在今年龙岗区第二届人工智能与机器人发展大会上,区级部门一次性推出了7个AI“龙搭子”。其中,名为“龙导游”的成果成为文商旅融合领域的核心亮点。据南都N视频记者了解,依托“龙导游”打造的全区全域AR实景剧本游“龙岗大陆”,已在今年五一假期发布了内测版本。经过一个月市场验证后,该项目正式启动面向全社会的

南下资金6月30日净买入中芯国际与建滔积层板
科技数码 · 2026-07-01

南下资金6月30日净买入中芯国际与建滔积层板

6月30日,南下资金持续大举买入港股,单日净流入金额高达58 95亿港元。接下来,我们直接盘点哪些个股获得资金青睐、哪些遭到减持: 净买入方面,中芯国际领跑全场,单日吸金19 33亿港元;建滔积层板紧随其后,净买入10 59亿港元;腾讯控股获得7 65亿港元净流入;智谱(02513 HK)也有6 5

电动汽车电池新国标7月实施热失控不起火不爆炸
科技数码 · 2026-07-01

电动汽车电池新国标7月实施热失控不起火不爆炸

自2026年7月1日起,两项关乎电动汽车安全的核心强制性国家标准将正式实施,为行业加装“安全锁”——《电动汽车安全要求》(GB 18384-2025)与《电动汽车用动力蓄电池安全要求》(GB 38031-2025)同步落地。此次标准升级,从整车架构与电池系统两大维度,精准填补了近年来多起事故暴露出的