英特尔锐炫Pro+B60配96GB内存，满足千人同时在线聊天
一、前言：当前最具性价比的96GB/192GB AI推理卡
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
凭借深耕多年的CUDA护城河，NVIDIA在AI领域一度拥有“定价权”，这也让这家公司的GPU及相关产品的售价逐渐脱离普通的消费者。
然而，随着硬件巨头Intel向“全栈AI公司”快速转型，这种绝对垄断正在被打破。
早在2019年，Intel就发布了oneAPI 跨架构编程模型，旨在让代码在 CPU、GPU、NPU 之间通用。这意味着开发者用一套代码即可调用 Intel 的所有算力，降低了迁移成本。
oneAPI还允许开发者将原本仅能NVIDIA CUDA环境下运行的代码，通过其迁移工具（SYCLomatic）快速转换到Intel硬件上，为Arc系列显卡运行主流大模型打下了坚实的软件基础。
去年，Intel发布了基于第二代Xe2架构（Battlemage）的专业级显卡—Intel Arc Pro B60。随后，以Maxsun（铭瑄）、SPARKLE（撼与）、GUNNIR（蓝戟）为代表的核心伙伴正式将其推向全球市场，直指高性能AI推理领域。
Intel Arc Pro B60与此前发布的消费级Intel Arc B580一样，都采用了完整的BMG-G21 GPU 核心， 拥有20个Xe2核心，2560个FP32单元（也可以说是2560个流处理器），20个光追单元和160个XXM AI引擎。
每颗BMG-G21 GPU可提供12.28 TFLOPS的FP32浮点性能以及197 TOPS的INT8 AI性能。
在显存方面，Intel Arc Pro B60设计了192bit位宽、19Gbps GDDR6显存，显存带宽高达456GB/s，显存容量则从Intel Arc B580的12GB直接翻倍到了24GB。
与更贵的NVIDIA RTX Pro 2000相比，Intel Arc Pro B60不论是显存容量还是显存带宽都比对手高出了50%。
而在大模型推理中，显存容量决定了模型的参数上限，带宽则决定了吐字速度。
相比之下，NVIDIA同样显存规格的AI加速卡，售价往往是Arc Pro B60的3至4倍。
随着DeepSeek等大规模 MoE 模型爆发的，Intel Arc Pro B60成为了目前市面上构建 96GB（4卡） 到 192GB（8卡）超大显存池最具性价比的方案。
此次我们收到了来自于长城的世恒X-AIGC工作站，这台主机搭载了Intel Xeon w5-3435X处理器、256GB（4x64GB）DDR5 ECC 6400MHz内存、2600W金牌电源以及4张Intel Arc Pro B60 24GB显卡，共计96GB显存。
二、英特尔锐炫Pro B60和长城世恒X-AIGC工作站图赏
长城世恒X图形工作站包含4张Arc Pro B60显卡，不过为了运输安全，发货时，显卡会单独包装，并不会直接安装在主机里面。
Arc Pro B60 24GB公版显卡正面照，双槽厚度，配备一个涡轮风扇。
显卡背面有全尺寸的金属背板，大量的片式聚合物电容也放在背面。
3个DP 2.1和一个HDMI 2.1接口。
2个8Pin供电接口放在了显卡尾端。
长城世恒X图形工作站。
超大的水冷头与水泵采用了分离设计，水泵在其中一根水冷管上。
将4张Arc Pro B60安装进去。
长城世恒X图形工作站与4张Arc Pro B60合体。
三、GPT-OSS-120B MXFP4多并发性能测试：能满足千人同时在线聊天
GPT-OSS-120B是OpenAI首个开源的千亿级参数模型，总参数 1170 亿 (117B)，被认为是测试多卡并联（Multi-GPU Parallelism）和分布式计算性能的标杆。
我们将GPT-OSS-120B模型下载至容器的llm\models目录下，并开启vLLM OpenAI API服务，具体参数如下：
由于120b占用显卡超过66GB，只能4卡并联进行测试，推理精度bfloat16，单次批处理的最大Token总数为 8192，最大上下文长度（Token 数）为 3000，GPU 显存利用率上限为 90%（预留10%给系统），使用MXFP4（混合精度 FP4）进行量化压缩。
vLLM OpenAI API 服务已经成功启动，下面单开一个窗口进行测试。
vLLM版本是最新的0.5.0，无法使用过去的benchmark_serving.py脚本进行测试，因此我们直接使用vllm bench serve命令，分别测试并发数1,10,20,30,40,50,60,70,80,90,100时的AI性能。
这是并发数为1的测试成绩日志，请求成功率 100%，在处理 120B 这种超大规模模型时，100 个请求全部成功且无一报错，说明4卡 Arc Pro B60 + MXFP4运行测试时非常稳定。
TTFT (首字延迟)仅为91.37ms，说明Arc Pro B60预填充（Prefill）阶段的爆发力极强。
平均 ITL (逐词延迟) 为 32.01 ms，输出吞吐量则为184tok/s。
下面是并发数从1,10,20,30,40,50,60,70,80,90,100的性能变化。
当并发数从1~10时： 系统的吞吐量呈现指数级增长，从 184 飙升至 613 tok/s。
不过并发数达到60之后，吞吐量为701 tok/s，基本上已经达到了这套系统的极限，即便请求数增加到100之后，总吞吐量也就增加了1%左右。
整个测试期间，ITL (逐词延迟)稳定得出奇，在达到并发 30 后，ITL 甚至随着并发增加而轻微下降。也就是说在高负载下，计算核心被填充得更满，单步推理的效率反而由于批处理效应而略微提升。
TTFT (首字延迟)震动比较剧烈，并发数为1时仅有91ms，并发数20时为241ns，并发数100时已经到了1344ms。
对于大多数用户而言，10 tok/s即可拥有丝滑的访问体验，根据长城世恒X图形工作站700tok/s的极限性能计算，它可以承受70个用户同时请求回答。
再按1:15的活跃比计算，这台工作站可以支持1000人同时在线聊天。
四、Llama-3.1-8B测试：比同价位RTX Pro 2000 16GB要快50%
1、Llama-3.1-8B
Llama-3.1-8B的显存需求只有7GB左右，因此不仅可以对Arc Pro B60 24GB进行单卡、双卡、4卡测试，我们还能测试桌面版RTX 5060 Ti 16GB的推理性能并与之进行对比！
vLLM 0.5.0 正式建立了对 Intel Arc GPU的原生支持，不再是以往那种简单的代码迁移，而是针对 Intel 的计算单元架构做了适配：
在并发数下，RTX 5060 Ti 16GB的性能略胜于单卡Arc Pro B60 24GB，但随着并发数的提升，Arc Pro B60 24GB随着并发数的提升，Arc Pro B60 24GB凭借大显存的优势开始逆袭，并发数90时，可以领先RTX 5060 Ti 16GB约10%左右。
4张Arc Pro B60 24GB在低并发数时性能优势并不明显，但随着并发数的提升，特别是达到100并发后，4张Arc Pro B60 24GB的性能几乎是单卡的4倍。
下面将精度降为FP8，重复上面的测试，但将N卡换成RTX Pro 2000。
与同价位的NVIDIA RTX Pro 2000 16GB相比，Arc Pro B60 24GB几乎展现出了碾压性优势。
同样是4卡并行进行运算，4xArc Pro B60 24GB比起4xRTX Pro 2000 16GB要强了50%左右，在并发数为100的情况下，凭借96GB大显存，Intel的领先幅度甚至达到了65%。
五、小结：用入门级N卡的价钱 买了接近旗舰级N卡的显存容量和推理性能
凭借CUDA生态的支持，NVIDIA的GPU在特定的生产力与AI方面的确有无可比拟的性能优势。
但是在大模型时代，显存即正义。
96GB显存意味着你可以本地运行参数量更大的模型，比如千亿级参数GPT-OSS-120B、LLaMA-3-130B对于4卡Arc Pro B60 24GB完全不是问题。
同样价位的NVIDIA RTX Pro 2000 16GB，4卡合计64GB显存，这是一个相对尴尬的显存容量，只能运行70B模型。在面对千亿级模型时必须极致量化压缩显存，且仅支持短上下文低负载推理，完全无法支持训练和微调。
而在性能方面，Arc Pro B60 24GB几乎展现出了碾压性优势。
同样是4卡并行运算（Llama-3.1-8B-Instruct FP8），4xArc Pro B60 24GB比起4xRTX Pro 2000 16GB要强了50%左右，在并发数为100的情况下，凭借96GB大显存，高负载（Batch 100）下，Intel 方案达到了 2110 Tokens/s，而同样价位的NVIDIA方案仅为 1279 Tokens/s。
Intel的领先幅度超过了65%。
在运行1200亿参数的GPT-OSS-120B时，Arc Pro B60 24GB在预填充（Prefill）阶段展现出了极强的爆发力，并发数为1的时候，Mean TFT (首字延迟)仅为91.37ms。
当并发数达到60之后，4张Arc Pro B60 24GB的吞吐量超过了701 tok/s，能满足千人同时在线聊天。
对于想要组建高性能本地 LLM 推理站的企业而言，5000元的Arc Pro B60 24GB显然是更具性价比的选择。
要知道NVIDIA类型算力的24GB专业卡，其售价几乎是Arc Pro B60 24GB的4倍左右。
很简单的结论：Arc Pro B60 24GB能让用户以入门级N卡的价钱，买了接近旗舰级N卡的显存容量和推理性能。
相关攻略
一、前言：当前最具性价比的96GB 192GB AI推理卡凭借深耕多年的CUDA护城河，NVIDIA在AI领域一度拥有“定价权”，这也让这家公司的GPU及相关产品的售价逐渐脱离普通的消费者。然而，随
2月2日消息，Intel XeSS3多帧生成技术首发仅限Panther Lake，最新虽承诺会在本月覆盖锐炫独显等产品，但对于急于尝鲜的玩家来说，最新进度显然太慢了。近日，已有耐不住性子的玩家们自行
1月29日消息，Intel日前发布的32 0 101 8362 8426显卡驱动更新，率先为最新的Panther Lake系列处理器所搭载的集显带来了XeSS 3多帧生成（MFG）技术。而对于锐炫独
12月19日消息，在显卡市场长期被AMD与NVIDIA统治的局面下，Intel锐炫系列正在悄然突围。根据德国零售商Mindfactory最新的周销量数据显示，虽然AMD的RX 9070 XT仍以72
12月2日消息，近日Linux之父Linus Torvalds破天荒地允许Linus Tech Tips的Linus Sebastian，为他装配一台新的Linux PC。这台被戏称为“Linux之
热门专题
热门推荐
3月28日消息，iPhone 18 Pro的屏幕盖板在社交平台上意外泄露。与上一代产品相比，该机最直观的改变莫过于灵动岛面积的显著缩小。根据博主的最新爆料，iPhone 18 Pro的灵动岛挖孔区域
漏斗图是Excel中展示销售流程各阶段转化率变化的专用图表。方法包括：一、Excel 2016+内置漏斗图；二、条形图模拟（全版本兼容）；三、Power BI嵌入（高交互）；四、条
在电商运营中，及时掌握产品动态至关重要，而junglescout的产品监控警报功能就能帮您实现这一点。下面就为您带来入门指南。一、开启警报功能首先，登录您的junglescout账
《崩坏：星穹铁道》火主配队推荐：推荐一为火主+希儿+布洛妮娅+停云，火主承伤破盾，希儿主C爆发，布洛妮娅拉条增伤，停云回能加攻，适合BOSS战与高难副本。推荐二为火主+艾丝妲+青雀
从杜兆辉那里，夏晓兰知道堂姐夏子玉这几年的遭遇。成了逃犯后，夏子玉靠着那张介绍信逃到盛城，花光所有积蓄偷渡去港岛。因为不会说粤语，又没有身份，根本找不到工作。在地头蛇的连哄带骗下，夏子玉成为港岛街头