感谢多位网友提供的信息支持。
10月27日,高通公司推出了面向数据中心AI推理优化的新一代解决方案,涵盖基于高通AI200与AI250芯片的加速卡及机架式系统。
高通AI200专注于为机架级AI推理设计,旨在降低总体拥有成本(TCO)并提升性能效率,适用于大型语言模型、多模态模型(LLM、LMM)的推理任务及其他AI工作负载。每张加速卡配备高达768GB的LPDDR内存,兼顾大容量存储需求与成本控制。
高通AI250采用创新的近内存计算架构,显著提升内存带宽,相较前代实现超过10倍的性能改进,同时有效降低功耗,进一步增强AI推理的能效表现。
两款机架系统均集成直接液冷技术,强化散热能力,适应高密度运算环境。系统支持PCIe扩展和以太网扩展,具备机密计算功能,保障AI工作负载的数据安全,并可承载最高达160千瓦的机架级功耗。
配套的超大规模AI软件栈覆盖从应用层到系统层的完整链条,全面优化AI推理流程。该软件栈兼容主流机器学习框架、推理引擎及生成式AI平台,支持解耦服务等针对大模型的优化技术。开发者可通过高效的Transformers库与专用推理工具套件,实现模型的快速迁移与部署,包括对Hugging Face生态的一键适配。此外,软件体系还提供开箱即用的AI应用、代理模块以及完整的开发工具、API和服务,助力AI系统的部署与运维。
高通AI200预计于2026年投入商用,AI250计划在2027年上市。
市场方面,相关消息发布后,公司股价出现显著上涨。
