首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
华为9月开源UCM技术:AI推理实现高吞吐低时延

华为9月开源UCM技术:AI推理实现高吞吐低时延

热心网友
35
转载
2025-09-01

8月12日,华为重磅推出AI推理领域创新成果——UCM推理记忆数据管理器。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

这款以KV Cache为核心的推理加速套件,创新性地整合了多类型缓存加速算法,通过分级管理推理过程中产生的KV Cache记忆数据,不仅能大幅扩展推理上下文窗口,还能在提升吞吐量的同时降低延迟,有效控制单Token推理成本。目前该技术已在中国银联"客户之声"、"营销策划"、"办公助手"三大业务场景落地应用,在智慧金融领域的AI推理加速实践中取得了显著成效。

根据华为公布的路线图,UCM技术将于2025年9月正式开源,届时将在魔擎社区进行首发。此后华为将逐步将该技术贡献给主流推理引擎社区,并与所有Share Everything(共享架构)存储厂商及生态合作伙伴共享这一创新成果。

来源:https://www.ithome.com/0/874/787.htm
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

岚图泰山X8首发华为双15.6英寸智慧双联屏,豪华体验再升级
科技数码
岚图泰山X8首发华为双15.6英寸智慧双联屏,豪华体验再升级

IT之家 3 月 31 日消息,岚图汽车最新今日宣布,岚图泰山 X8 将首发华为双 15 6 英寸智慧双联屏。据介绍,岚图泰山 X8 的华为双 15 6 英寸智慧双联屏搭载旗舰级硬件,支持高亮超清特

热心网友
03.31
华为新品前瞻:4月将发影像旗舰与折叠新机
科技数码
华为新品前瞻:4月将发影像旗舰与折叠新机

IT之家 3 月 31 日消息,博主 @数码闲聊站 今天在微博发文称,某厂的影像旗舰系列 + 阔折叠新机将在 4 月下旬发布。并且 4 月下旬除了两家的影像旗舰,预计还有两个天玑 9500 性能机。

热心网友
03.31
华为Pura 90系列4月发布:三款齐发,Ultra版缺席
网络安全
华为Pura 90系列4月发布:三款齐发,Ultra版缺席

3月31日消息,根据最新爆料显示,华为Pura 90系列已确定将于4月下旬正式发布。与之同步亮相的还有华为备受期待的阔折叠屏新机,两款重磅产品将共同开启华为春季新品的下半场。在机型布局上,华为Pur

热心网友
03.31
鸿蒙手机养小龙虾:小艺Claw众测开启,49元/月尝鲜
网络安全
鸿蒙手机养小龙虾:小艺Claw众测开启,49元/月尝鲜

3月31日消息,华为鸿蒙生态专属AI智能体小艺Claw(龙虾)正式开启众测,众测时间为3月31日至4月7日,适配HarmonyOS 6及以上系统,支持手机、平板设备,需要将“小艺”App更新至11

热心网友
03.31
华为Pura 90系列4月首销:Ultra版缺席,三款齐发
网络安全
华为Pura 90系列4月首销:Ultra版缺席,三款齐发

快科技3月31日消息,根据最新爆料显示,华为Pura 90系列已确定将于4月下旬正式发布。与之同步亮相的还有华为备受期待的阔折叠屏新机,两款重磅产品将共同开启华为春季新品的下半场。在机型布局上,华为

热心网友
03.31

最新APP

你说我猜
你说我猜
休闲益智 03-31
史莱姆农场
史莱姆农场
休闲益智 03-31
凡人传说
凡人传说
角色扮演 03-30
恶魔秘境
恶魔秘境
角色扮演 03-29
猫和老鼠华为
猫和老鼠华为
休闲益智 03-29

热门推荐

OPPO Find X9s Pro实拍对比Ultra:细节更真实,手感更胜
网络安全
OPPO Find X9s Pro实拍对比Ultra:细节更真实,手感更胜

3月31日消息,OPPO将于4月21日举行新品发布会,推出Find X9s Pro、Find X9 Ultra两款影像旗舰。今日,OPPO Find 系列产品负责人卓世杰晒出Find X9s Pro

热心网友
03.31
揭秘Yandex网页版免注册入口,2026年俄罗斯搜索直连
电脑教程
揭秘Yandex网页版免注册入口,2026年俄罗斯搜索直连

Yandex网页版无需登录入口是https: ya ru ,该链接通过skip_sslsignin=1参数直连最新服务器,自动跳过登录验证,支持多语言、多服务快捷访问,具备轻量界

热心网友
03.31
日元3月大跌13.23%,创2020年3月以来最大单月跌幅
科技数码
日元3月大跌13.23%,创2020年3月以来最大单月跌幅

格隆汇3月31日|日经225指数收盘下跌822 13点,跌幅1 58%,报51063 72点。日经225指数3月收跌13 23%,创下自2020年3月(新冠疫情初期)以来最大月度跌幅。

热心网友
03.31
顺丰控股AH股齐升2025年净利增9.31% 拟10派4.3元
科技数码
顺丰控股AH股齐升2025年净利增9.31% 拟10派4.3元

顺丰控股港股(6936 HK)涨超5%,报35 02港元,最高触及35 7港元;顺丰控股A股(002352 SZ)涨4%,报38 23元,创一个半月新高。消息面上,顺丰控股披露了2025年年度报告,

热心网友
03.31
小吉空调双十服务:提升家居空间美学的专业方案
科技数码
小吉空调双十服务:提升家居空间美学的专业方案

小吉空调以“双十”服务,向用户交付家居空间的美学方案家电行业的竞争,长期围绕产品参数与外观设计展开;但当产品趋同成为常态,品牌真正的分水岭开始后移——从“产品交付那一刻”延伸到“用户使用的整个周期”

热心网友
03.31