英伟达重塑AI单用户性能：2万Tokens/秒，能耗骤降千倍
3月23日消息，如果说前几年的AI重点是训练，那么现在的重点是推理，NVIDIA上周的GTC大会上已经发布了全新的LPU芯片，就是要重塑AI推理。
在GTC大会期间，NVIDIA首席科学家Bill Dally跟谷歌首席科学家Jeff Dean两位大神有了一番精彩的深度访谈，其中Dally就谈到了NVIDIA在做的一些研究进展。
AI推理对延迟的要求很高，Dally指出目前的瓶颈已经不是算力本身，瓶颈在通信开销上，NVIDIA正在研究片上通信的静态调度，将会彻底取消路由开销、排队和仲裁，通信速度接近光速本身。
目前的技术方案中，芯片从一角到另一角的延迟有几百纳秒之多，NVIDIA的技术方案可以做到30纳秒。
片外通信中，之前的方案是一步步提高带宽速率，现在做到了400Gbps甚至800Gbps，但这样的带宽也带来了复杂的信号处理及纠错机制，但速度如果从400Gbps降低到200Gbps，复杂问题反而会消失，只做序列化延迟的话，几个时钟周期就能完成。
Dally表示他有信心未来AI推理可以做到单用户每秒10000到20000Token的推理速度——作为对比，大家要知道目前很多人用在大模型AI推理速度，普遍在100Token每秒以内，甚至每秒60Token以上的速度就算高速了。
Dally表示做到这样的速度前提是用对了架构，他还以NVFP4精度做了例子对比，用这种精度做一次乘加运算需要消耗10飞焦的能量，但HBM4从外部读取数据大约消耗15皮焦能量，差距是1000倍以上。
改用SRAM缓存的话，读取数据的能耗也会变成10飞焦了，跟计算过程的消耗一个级别。
不过SRAM也不是没代价的，芯片成本比HBM还会高的，GTC大会上NVIDIA发布的LPU芯片LPU30也只能集成500MB SRAM缓存，跟GPU集成的288GB HBM4不是一个量级的。
相关攻略
AI研究机构EpochAI发布报告，详细拆解了1GW容量AI数据中心的成本结构。研究发现，在年化总成本约85亿美元中，NVIDIA服务器系统的折旧成本高达50亿美元，占比约60%，成为绝对的成本核心。相比之下，能源等运营开支每年仅约6亿美元，占比有限。报告特别强调，IT设备（主要是GPU）的折旧年
NVIDIA在SIGGRAPH上宣布扩展其微服务库，以加速人形机器人开发。其核心是将生成式AI深度集成至OpenUSD语言体系，推出相关模型与NIM微服务，从而提升数字孪生与机器人工作流效率。公司还开放了机器人技术栈，并联合合作伙伴推动OpenUSD的工业应用，为开发者提供从仿真到部署的端到端平台支持。
RTX 6090 6080 6070显卡规格偷跑：明年才能发 性能再挤一挤 年初CES展会上的消息，想必大家还有印象：备受期待的RTX 50 Super系列被无限期推迟了。现在看来，这个系列大概率是“胎死腹中”了。背后的原因也不难理解：一方面，显存价格涨势凶猛，成本压力不小；另一方面，来自AMD的竞
中国寻求突破NVIDIA CUDA护城河：一种前所未有的新方式 4月8日消息，在寻求突破NVIDIA CUDA生态壁垒的种种尝试中，有一个战略级的变通方案，其思路相当值得深入探讨。 时间拉回到不久前的SEMICON CHINA 2026全球半导体产业战略峰会。会上，中国半导体行业协会副理事长、IC设
高刷未启用？五步排查法帮你搞定 新买了高刷显示器，结果在设置里死活找不到144Hz、165Hz的选项，只能锁定在60Hz？这事儿确实挺让人头疼的。别急，这通常不是硬件坏了，而是系统或驱动没有正确识别显示器的“满血”能力。下面这几个步骤，是解决这类问题的标准操作流程，一步步跟着来，大概率能让你找回丢失
热门专题
热门推荐
过去24小时全球主要交易所比特币流向分化明显，整体净流出5740 82枚。其中CoinbasePro流出约5457枚，币安、Gemini分别流出1023枚和504枚；而OKX则逆势录得约530枚净流入。
《魔力宝贝》中“狗洞”即“奇怪的洞窟”，位于亚留特村西南方向黄色传送石处，是12至20级玩家高效练级地点。前往路线为：从法兰城至伊尔村，向北进入哈巴鲁东边洞窟击败“熊男”，穿越后抵达亚留特村，再向西南探索即可找到入口。洞内怪物等级较高，建议携带“风地”属性水晶提升生存能力。
时隔七年，贾跃亭以CEO身份重掌法拉第未来（FF）帅印，并成功为公司注入了关键的发展动力。近期，FF累计完成了高达7000万美元的机构融资。这笔至关重要的资金，被贾跃亭定位为驱动公司机器人业务实现第一阶段战略目标的“核心粮草”。 随着资金与团队就位，贾跃亭的信心显著增强。他公开立下目标：将用两年时间
任务需修复两条水道。首先跟随指引找到NPC并进入幻境，使用号角对准壁画激活飞鸟幻影，触碰并跟随其路径即可修复第一条水道。第二条水道位于洞xue内，跟随萤火虫找到入口，重复使用号角并借助弹跳水母到达高处，跟随飞鸟完成修复。完成后可获得奖励并推进剧情。