首页 游戏 软件 资讯 排行榜 专题
首页
手机教程
速看!DeepSeek开源周第一弹:FlashMLA加速GPU计算!

速看!DeepSeek开源周第一弹:FlashMLA加速GPU计算!

热心网友
13
转载
2025-04-23

速看!deepseek开源周第一弹:flashmla加速gpu计算!

?DeepSeek在开源周的第一天推出了加速推理的基础设置FlashMLA。DeepSeek针对Hopper GPU优化了高效的MLA解码内核,支持变长序列,并且已经投入生产使用。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

✅ 支持BF16 ✅ 分页KV缓存(块大小64) ⚡ 在H800上实现3000 GB/s的内存带宽和580 TFLOPS的计算性能!

快速开始克隆项目代码语言:javascript代码运行次数:0运行复制```javascriptgit clone https://www.php.cn/link/3dc20e2ac60a2551a4d3f08b03377def

安装代码语言:javascript代码运行次数:0运行复制```javascriptpython setup.py install
登录后复制

测试代码语言:javascript代码运行次数:0运行复制```javascriptpython tests/test_flash_mla.py

在H800 SXM5上,使用CUDA 12.6,在受内存限制的配置下可实现高达3000 GB/s的带宽,在受计算限制的配置下可达到580 TFLOPS的计算性能。

使用代码语言:javascript代码运行次数:0https://www.w3.org/2000/svg"> d="M6.66666 10.9999L10.6667 7.99992L6.66666 4.99992V10.9999ZM7.99999 1.33325C4.31999 1.33325 1.33333 4.31992 1.33333 7.99992C1.33333 11.6799 4.31999 14.6666 7.99999 14.6666C11.68 14.6666 14.6667 11.6799 14.6667 7.99992C14.6667 4.31992 11.68 1.33325 7.99999 1.33325ZM7.99999 13.3333C5.05999 13.3333 2.66666 10.9399 2.66666 7.99992C2.66666 5.05992 5.05999 2.66659 7.99999 2.66659C10.94 2.66659 13.3333 5.05992 13.3333 7.99992C13.3333 10.9399 10.94 13.3333 7.99999 13.3333Z" fill="currentcolor">运行https://www.w3.org/2000/svg"> clip-rule="evenodd" d="M4.5 15.5V3.5H14.5V15.5H4.5ZM12.5 5.5H6.5V13.5H12.5V5.5ZM9.5 2.5H3.5V12.5H1.5V0.5H11.5V2.5H9.5Z" fill="currentcolor" fill-rule="evenodd">复制javascript from flash_mla import get_mla_metadata, flash_mla_with_kvcachetile_scheduler_metadata, num_splits = get_mla_metadata(cache_seqlens, s_q * h_q // h_kv, h_kv)for i in range(num_layers): ... o_i, lse_i = flash_mla_with_kvcache( q_i, kvcache_i, block_table, cache_seqlens, dv, tile_scheduler_metadata, num_splits, causal=True, ) ...

登录后复制

最低要求代码语言:javascript代码运行次数:0运行复制javascriptHopper GPUsCUDA 12.3 and abovePyTorch 2.0 and above

登录后复制        
来源:https://www.php.cn/faq/1287538.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

win11卸载openclaw
AI
win11卸载openclaw

如何彻底卸载 OpenClaw?多种清洁卸载方法详解 OpenClaw 是一款广受好评的开源应用程序,许多用户选择在 Windows 操作系统上安装使用。然而,当你不再需要它时,如何确保将其从电脑中完全、彻底地移除呢?许多用户反馈,简单的卸载操作常常会遗留冗余文件和注册表项,这些“残余数据”长期累积

热心网友
04.01
DeepSeek 宕机一夜,能力又悄悄提升
AI
DeepSeek 宕机一夜,能力又悄悄提升

DeepSeek 崩上热搜!宕机背后暗藏重大升级信号 一次持续超过8小时的服务中断,让国产AI大模型DeepSeek意外登上社交媒体热搜榜。这场突如其来的技术故障,让无数正在赶论文、进行角色扮演对话,甚至单纯想找AI聊天的用户,共同体验了数字时代的“依赖戒断反应”。 然而,行业观察人士普遍认为,此次

热心网友
04.01
(更新:已恢复)“DeepSeek 崩了”上热搜,无法加载内容
AI
(更新:已恢复)“DeepSeek 崩了”上热搜,无法加载内容

(更新:已恢复) DeepSeek崩了 冲上热搜,服务突发故障无法加载内容 3月29日晚间,国内人工智能领域出现突发服务异常。大量用户反映,备受关注的大语言模型DeepSeek出现访问故障,界面持续加载无法正常使用。话题“DeepSeek 崩了”迅速登上微博热搜榜,引发广泛讨论。 从社交媒体实时反馈

热心网友
04.01
别把AI养成自己的佞臣!AI彩虹屁能力对比人类高出49%
业界动态
别把AI养成自己的佞臣!AI彩虹屁能力对比人类高出49%

4月1日消息,随着AI不断深入日常生活,大家有没有发现AI越来越会拍彩虹屁了?近期发表在权威期刊《Science》上的一篇论文,对目前全球最先进的11个大语言模型进行了系统评估,揭露了一个有趣的真相

热心网友
04.01
DeepSeek再度进化,Sora引发全球AI格局新思考
科技数码
DeepSeek再度进化,Sora引发全球AI格局新思考

3月最后一周,DeepSeek突发大规模服务中断,OpenAI宣布关闭AI视频生成工具Sora。当前的AI行业,技术领先不等于商业成功,惊艳亮相不等于能笑到最后。原标题:《视频 | DeepSeek

热心网友
04.01

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

美国SEC主席Paul Atkins证实:加密货币安全港提案已送交白宫审查
web3.0
美国SEC主席Paul Atkins证实:加密货币安全港提案已送交白宫审查

加密货币行业翘首以盼的监管里程碑,终于有了实质性进展。美国证券交易委员会(SEC)主席保罗·阿特金斯(Paul Atkins)近日证实,那份允许加密项目在早期获得注册豁免权的“安全港”框架提案,已经正式送抵白宫,进入了最终审查阶段。 在范德堡大学与区块链协会联合举办的数字资产峰会上,阿特金斯透露了这

热心网友
04.08
微策略Strategy报告:第一季录得144.6亿美元浮亏 再斥资约3.3亿美元买进4871枚比特币
web3.0
微策略Strategy报告:第一季录得144.6亿美元浮亏 再斥资约3.3亿美元买进4871枚比特币

微策略Strategy报告:第一季录得144 6亿美元浮亏 再斥资约3 3亿美元买进4871枚比特币 市场震荡的威力有多大?看看Strategy的最新季报就明白了。根据其最新向美国证管会(SEC)提交的8-K报告,受市场剧烈波动影响,这家公司所持的比特币在第一季度录得了一笔惊人的数字——144 6亿

热心网友
04.08
稳定币发行商Tether再扩Web3版图!Paolo Ardoino:正开发去中心化搜索引擎Hypersearch
web3.0
稳定币发行商Tether再扩Web3版图!Paolo Ardoino:正开发去中心化搜索引擎Hypersearch

稳定币巨头Tether的动向,向来是加密世界的风向标。这不,它向Web3基础设施的版图扩张,又迈出了关键一步。公司执行长Paolo Ardoino在社交平台X上透露,其工程团队正在全力“烹制”一个新项目——去中心化搜索引擎 “Hypersearch”。这个消息一出,立刻引发了行业的广泛猜想。 采用D

热心网友
04.08
Base链首个原生DeFi借贷协议Seamless Protocol倒闭 将于2026年6月30日下线
web3.0
Base链首个原生DeFi借贷协议Seamless Protocol倒闭 将于2026年6月30日下线

基地位于Coinbase旗下以太坊Layer2网络Base的Seamless Protocol,日前正式宣告了服务的终结。这个曾经吸引了超过20万用户的原生DeFi借贷协议,在运营不到三年后,终究没能跑赢时间。它主打的核心产品是Integrated Leverage Markets(ILMs)——一

热心网友
04.08
PAAL代币如何参与治理?社区投票能决定哪些事项?
web3.0
PAAL代币如何参与治理?社区投票能决定哪些事项?

PAAL代币揭秘:深度解析Web3社区治理的核心钥匙 在去中心化自治组织的浪潮中,谁真正掌握了项目的话语权?PAAL代币提供了一套系统化的答案。它不仅是生态内流转的价值媒介,更是开启链上治理大门的核心凭证。通过持有并质押PAAL代币,用户能够对协议升级、资金分配乃至战略方向等关键事务投出决定性的一票

热心网友
04.08