
11月10日,华为麒麟官方公众号发布最新动态,宣布基于CANN(神经网络计算架构)的端云协同框架所开发的PC端AI闪绘功能正式上线。这一技术成果标志着大模型在终端设备上的应用迈入全新发展阶段。
AI闪绘依托扩散模型技术实现图像生成,不仅能将用户提供的原始图片与文字提示智能结合,还能根据创作意图生成符合预期的全新画面。该功能由华为CANN团队携手生态合作伙伴悟空图像共同打造,聚焦于将SDXL(Stable Diffusion XL)模型部署在终端设备本地运行,成功攻克了模型压缩、多风格适配与算子优化等关键技术壁垒。
在终端侧部署大模型需要突破三大核心难题:首先是模型参数量过大,部分模型参数高达数十亿甚至上百亿,对设备内存造成巨大压力;其次是推理延迟较高,受限于终端算力,复杂模型难以实现快速响应;此外,传统方案往往存在生成风格单一的问题,难以满足用户多样化的创作需求。
为应对这些挑战,CANN团队创新性地提出"瘦身-加速-灵活"一体化的技术方案。依托CANN在端侧与云端一致的异构计算架构及其内置的量化能力,研发团队采用混合精度量化技术,在保持模型原有精度水平的同时,大幅压缩了SDXL模型的体积。这一优化不仅有效减少了模型在终端设备上的存储占用,还显著降低了推理过程中的内存带宽消耗。
目前,该技术方案已在搭载麒麟芯片的NPU上完成验证,实现了大模型在终端侧的高效运行,为后续更多AI功能的本地化部署奠定了坚实基础。
