首页 游戏 软件 资讯 排行榜 专题
首页
科技数码
英伟达Blackwell架构:AI推理成本骤降90%,仅为十分之一

英伟达Blackwell架构:AI推理成本骤降90%,仅为十分之一

热心网友
35
转载
2026-02-13

IT之家2月13日获悉,英伟达昨日(2月12日)发布官方博文,宣布在AI推理领域的"token经济学"方面取得突破性进展,其Blackwell架构实现了里程碑式的技术跨越。

英伟达在文中强调,通过推行"极致软硬件协同设计"策略,该架构显著提升了硬件处理复杂AI推理任务时的效率,有效化解了因模型参数量激增带来的算力成本压力。数据显示,相较于前代Hopper架构,Blackwell平台将单位Token生成成本大幅降低至十分之一。


英伟达Blackwell架构实现AI推理成本压缩至十分之一

产业应用层面,包括Baseten、DeepInfra、Fireworks AI及Together AI在内的多家推理服务商已开始利用Blackwell平台托管开源模型。

据IT之家引述博文内容,英伟达指出通过整合前沿开源智能模型、Blackwell的硬件优势以及各厂商自研的优化推理栈,这些企业成功实现了跨行业的成本缩减。


英伟达通过整合开源前沿智能模型助力企业实现跨行业成本缩减

以专注多智能体工作流的Sentient Labs为例,其成本效率相较Hopper时代提升了25%至50%;而游戏领域的Latitude等公司也借此实现了更低延迟和更可靠的响应性能。


Sentient Labs成本效率相比Hopper时代提升25%至50%

Blackwell架构的高效能核心在于其旗舰系统GB200 NVL72。该系统采用72颗芯片互联配置,并配备了高达30TB的高速共享内存。这种设计完美契合当前主流的"混合专家"架构需求,能够将Token批次高效拆分并分散到各个GPU上并行处理。


GB200 NVL72系统采用72颗芯片互联配置

在Blackwell大获成功的同时,英伟达已将目光投向下一代代号为"Vera Rubin"的平台。据悉,Rubin架构计划通过引入针对预填充阶段的CPX等专用机制,进一步推高基础设施的效率天花板。

来源:https://www.163.com/dy/article/KLLESOO00511B8LM.html
免责声明: 游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

相关攻略

蚂蚁武威推理模型范式猜想与未来演进趋势
AI
蚂蚁武威推理模型范式猜想与未来演进趋势

长思维链虽热门,但其高能耗高维特性可能并非最优。未来推理模型需向更稳定、低维的系统发展,高效结合快慢思考。当前模型易错且纠错成本高,而深度思考的潜力在于发现新知识。推理本质是逻辑组合知识以解决新问题,发展应追求“多快好省”与“双商齐备”,并突破目前局限于数学与代码的。

热心网友
05.16
搜索成本仅为推理十分之一却鲜为人知的行业真相
科技数码
搜索成本仅为推理十分之一却鲜为人知的行业真相

OpenClaw的爆火,让众多AI应用开发者第一次直面了高昂的Token账单——一个用户请求可能触发多轮工具调用,每次调用都携带超长上下文,实际的API成本远超预期,甚至可能达到订阅费用的数十倍。如何有效控制Token成本,正成为AI Agent开发者面临的核心挑战与增长瓶颈。 这显然不是可持续的商

热心网友
05.12
EPFL等机构发现大语言模型的内部思维与人类创造性大脑高度同步
科技数码
EPFL等机构发现大语言模型的内部思维与人类创造性大脑高度同步

这项由瑞士洛桑联邦理工学院(EPFL)、意大利卢加诺大学(USI)、韦斯利安大学、巴黎脑研究所(ICM)以及宾夕法尼亚州立大学联合开展的研究,以预印本形式发布于2026年4月,论文编号为arXiv:2604 03480。对这一交叉领域感兴趣的读者,可以通过该编号在arXiv平台上查阅完整原文。 一、

热心网友
04.22
摩尔线程完成智谱GLM-5.1适配
科技数码
摩尔线程完成智谱GLM-5.1适配

北京商报讯(记者 陶凤 王天逸) 人工智能领域又传来一条振奋人心的消息。4月8日,摩尔线程正式宣布,其旗舰级AI训推一体全功能GPU——MTT S5000,已经成功完成了对智谱新一代旗舰模型GLM-5 1的Day-0极速适配。这意味着,推理部署与训练复现的全部流程,现在都能在这条国产算力路径上获得支

热心网友
04.15
如何利用SQL进行推理
数据库
如何利用SQL进行推理

如何用SQL求解逻辑推理题:经典楼层分配谜题实战 今天我们来探讨一个非常有趣的技术应用:使用SQL来求解逻辑推理题。这听起来或许有些大材小用,但正是这种跨界应用,充分展现了SQL语言的强大灵活性以及开发者分析问题的思维能力。我们将以一个经典的五人楼层分配谜题作为案例,逐步拆解如何用纯粹的SQL找到答

热心网友
04.14

最新APP

宝宝过生日
宝宝过生日
应用辅助 04-07
台球世界
台球世界
体育竞技 04-07
解绳子
解绳子
休闲益智 04-07
骑兵冲突
骑兵冲突
棋牌策略 04-07
三国真龙传
三国真龙传
角色扮演 04-07

热门推荐

多平台推广的优势与核心价值解析
业界动态
多平台推广的优势与核心价值解析

在流量日益分散的今天,把鸡蛋放在同一个篮子里,风险不言而喻。多平台推广,早已不是“要不要做”的选择题,而是“如何做好”的生存题。它的核心价值,可以概括为两点:实现“流量风险对冲”,以及构建“品牌触点全覆盖”。通过在不同生态位——无论是搜索、短视频、图文还是电商——建立内容矩阵,企业不仅能有效缓冲单一

热心网友
05.19
DeepSeek知识库搭建教程 从零开始构建企业智能问答系统
业界动态
DeepSeek知识库搭建教程 从零开始构建企业智能问答系统

DeepSeek知识库的核心,是运用RAG(检索增强生成)技术,将DeepSeek强大的大语言模型推理能力,与您的私有文档资源——包括PDF文件、内部代码库、标准操作流程(SOP)等——深度融合。其最终目标是实现基于特定垂直领域数据的精准智能问答,让AI的回答不再是通用泛化,而是具备专业依据、内容详

热心网友
05.19
三大运营商入局AI付费服务 使用门槛低至99元
AI
三大运营商入局AI付费服务 使用门槛低至99元

三大运营商推出Token套餐,将大模型调用量包装为类似流量包的产品,以降低AI使用门槛。中国电信推出个人与企业多档套餐,最低月费9 9元;上海移动推出1元购40万Tokens服务;联通则提供个人与团队版套餐。运营商凭借用户渠道和支付优势,推动算力消费向大众市场普及,可能重塑AI服务消费模式。

热心网友
05.19
本地部署量化模型解决HermesAgent响应慢问题
AI
本地部署量化模型解决HermesAgent响应慢问题

HermesAgent本地运行缓慢常因未量化的大语言模型占用资源过多。可通过AWQ量化模型、llama cpp后端加载GGUF模型、配置vLLM引擎提升并发吞吐、禁用非必要工具降低上下文开销,以及调整SQLite记忆检索阈值等方案优化。这些方法能显著降低延迟,提升响应速度。

热心网友
05.19
AI治理评估工程:破解智能体监管缺失的关键路径
AI
AI治理评估工程:破解智能体监管缺失的关键路径

随着AI智能体能力的持续增强,确保其行为始终符合预设目标与安全边界,已成为行业亟待解决的核心挑战。然而,当前主流的治理方案在防止智能体“失控”或“脱轨”方面,仍面临显著的实践瓶颈。 在之前的探讨中,我们分析了主流治理思路:部署多样化的对抗性验证器,构建一个多层次的安全审查网络。该方案的核心逻辑并非限

热心网友
05.19