目前,AI技术已进入广泛应用的阶段,也出现了为AI推理超额配置计算的情况,这导致了高昂的成本支出(无论是硬件的单位成本,还是硬件运行的电力成本)。因此,为不同类型的AI工作负载采用GPU-Only虚拟机的做法,正在被能够大幅降低AI计算能耗的其他方案所替代。
## 一、AI计算面临的能耗挑战 与传统计算相比,运行AI需要更高的能耗。Bloomberg对此进行了详细介绍:ChatGPT3的参数量达到1,750亿,消耗了高达1.287千兆瓦时电量,相当于120户美国家庭一年的耗电量。而类似ChatGPT4这样的新模型(预计参数量达到1.7万亿),将比ChatGPT3消耗更高的电量。 由于AI带来的能耗需求飙升,配置适度算力并减少所需的计算量是行业迫在眉睫的需求。云原生计算可助力降低运行成本,为配置硬件层面的适度算力奠定基础,满足当前和未来的计算需求,并降低能耗。
