四台Mac Studio组AI集群:1.5TB内存,硬件成本近30万
12月25日消息,知名工程师Jeff Geerling近日完成了一项技术挑战,他借助macOS 26.2系统的最新特性,成功将四台搭载M3 Ultra芯片的Mac Studio整合为一体,打造出一个拥有1.5TB统一内存的AI计算集群。
此次集群成功的关键,在于macOS 26.2引入的一项核心功能——基于Thunderbolt 5的RDMA(远程直接内存访问)。通过Thunderbolt 5接口,一台Mac可以直接读取另一台设备的内存,整个过程无需CPU干预。

在Geekbench 6的多核性能测试中,该集群轻松超越了Dell Pro Max with GB10和Framework Desktop等对手。其双精度浮点运算性能更是突破了1 TFLOPS,而闲置功耗则低于10瓦。

在AI推理方面,单机运行Llama 3.2 3B模型时,每秒可处理154.6个token;而在运行大型的Llama 3.1 70B模型时,每秒仍能维持14.1个token的处理速度。这两项测试的性能表现均远超其他竞争对手。


此外,在尝试运行DeepSeek R1 671B超大型模型时,其他系统均无法正常工作。而Mac Studio集群凭借1.5TB的统一内存,成功完成了这一挑战。

RDMA over Thunderbolt 5在这个AI集群中发挥了关键作用。启用RDMA后,内存访问延迟从TCP协议的300微秒大幅降低至50微秒以下。


在使用exo系统测试Qwen3 235B模型时,四台设备每秒可处理31.9个token,比基于TCP的llama.cpp快了一倍以上;运行DeepSeek V3.1模型时,速度更是达到了每秒32.5个token。

尽管RDMA表现优异,但在高负载时偶尔会出现系统崩溃的情况。

另外值得注意的是,由Mac Studio组成的AI集群总硬件成本约为4万美元(约合人民币28万元)。相比其他两个平台,这一价格更为昂贵。
热门专题
热门推荐
公安部就电子数据取证规则公开征求意见,拟将网络安全等行政案件纳入适用范围,并规范取证流程与核心概念。新规特别明确了获取密码、调取通讯内容等特殊程序,需经严格审批并保障当事人权利。配套法律文书也同步优化,以构建更规范且注重权利保障的取证体系。
理想L9和LIvis的定价策略刚掀起波澜,小鹏GX的最终价格就给出了更猛烈的回应——从近40万元的预售价直降至27万元起。用小鹏产品矩阵负责人吴安飞的话说,这叫“9系的产品,8系的价格”。 这12万元的下调,效果堪称立竿见影。发布会次日,小鹏集团港股股价一度大涨超8%。更关键的是市场订单:上市12小
5月21日,环塔拉力赛新疆且末赛段大营迎来了一位备受瞩目的访客——知名零售企业胖东来的创始人于东来。他专程前往长城汽车车队营地,与参赛车手及后勤团队进行了深度交流。据悉,于东来此次自驾越野之旅已历时一月,随行车队中包含多款国产越野车型。经过实地驾驶与多维度对比,他对以长城汽车为代表的国产越野车品质给
比特币官方入口在哪里?一个核心门户的权威指南 说起比特币,很多人第一反应是去找它的“官网”或“官方App”。但这里有个关键点需要先理清:比特币本质上是一种去中心化的全球数字货币,它不属于任何一家公司或机构,而是由一个庞大的、遍布全球的社区共同维护。因此,它并没有传统意义上由某个企业运营的“官方网站”
Ring-2 5-1T是什么 在当今大模型技术激烈竞争的赛道上,追求更长的上下文处理能力和更强大的深度推理性能已成为核心焦点。近日,蚂蚁集团旗下的inclusionAI团队重磅开源了Ring-2 5-1T模型,这是一个参数规模高达万亿级别的混合线性思考大语言模型。该模型基于先进的Ling 2 5架构





