时间:2025-08-14 作者:游乐小编
8月12日最新消息,据科技媒体WccfTech昨日报道,英特尔为其锐炫Pro系列GPU的Battlematrix项目发布了首个重要软件更新——LLM Scaler v1.0版本,此次升级重点提升了AI推理性能。
回顾今年5月,在COMPUTEX 2025台北国际电脑展上,英特尔不仅发布了锐炫Arc Pro B50和B60两款显卡,还推出了Project Battlematrix推理工作站平台。该平台最多可支持8张锐炫Pro显卡,并配备专用软件包,能够运行参数规模高达1500亿的中等规模高精度AI模型。
Battlematrix平台通过整合硬件与定制化软件栈,显著优化了推理性能和企业部署体验。其中,LLM Scaler是基于vLLM框架开发的AI大模型推理容器,具备多GPU扩展、长序列高效推理以及多模态任务处理能力。
此次发布的LLM Scaler v1.0对vLLM推理框架进行了重点优化。测试数据显示,在处理32B KPI模型时,40K序列长度下的性能提升高达1.8倍;70B KPI模型在相同条件下性能提升更达到4.2倍。此外,8B至32B规模模型的输出吞吐量较上一版本提升了约10%。
新版本还引入了分层在线量化技术,有效降低了显存占用。同时支持管道并行、数据并行、多模态模型及嵌入、重排序等功能,大幅提升了模型的适应性和扩展性。
为了便于企业级运维管理,LLM Scaler v1.0集成了XPU Manager工具,可实现对GPU的电源管理、固件升级、诊断检测以及显存带宽监控等功能。
该容器基于Linux平台开发,充分利用了多GPU扩展和PCIe点对点数据传输技术,实现了最高80%的整体性能提升。系统还具备ECC纠错、SRIOV虚拟化、遥测监控和远程固件更新等特性,全面满足企业级部署对可靠性和可管理性的要求。
英特尔特别强调,新软件栈严格遵循行业标准,兼容主流开发流程。通过集成OneCCL基准测试工具,为开发者提供了便捷的调优和性能评测手段,进一步丰富了Battlematrix平台的生态支持。
根据英特尔公布的路线图,本季度内还将推出更为稳定的容器版本,持续优化vLLM服务能力。预计到今年第四季度,Battlematrix项目将实现全功能版本落地,推动大模型推理平台的持续升级,为专业用户提供更高效、更易用的AI解决方案。
2021-11-05 11:52
手游攻略2021-11-19 18:38
手游攻略2021-10-31 23:18
手游攻略2022-06-03 14:46
游戏资讯2025-06-28 12:37
单机攻略