11月10日消息,华为麒麟官方公众号今日宣布,基于华为CANN端云协同架构打造的PC端AI闪绘功能已于近期正式落地,标志着端侧AI大模型应用迈入了全新阶段。

据介绍,AI闪绘是基于扩散模型的图生图技术,能根据现有图片与提示词生成符合用户预期的新图像。该功能由华为CANN团队与合作伙伴悟空图像协作打造,双方围绕SDXL模型的端侧部署展开合作,突破了模型瘦身、多风格适配与算子优化等关键技术。
华为麒麟指出,端侧AI大模型的部署长期面临三大挑战:模型体量庞大,参数规模可达数十亿甚至百亿级,端侧设备面临巨大的内存压力;推理延迟高,端侧算力有限,复杂模型难以实现实时响应;风格单一化,单一模型难以满足用户多样化创作需求。
针对这些痛点,CANN团队创新提出“瘦身—加速—灵活”三位一体的技术路径,依托CANN端云一致的异构计算架构及内置量化能力,通过混合精度量化技术将SDXL模型的体积大幅压缩,同时完整保留原始精度。
从华为麒麟获悉,该优化方案不仅能高效压缩模型在端侧的存储空间,还能显著降低推理时的内存带宽占用。目前该方案已在麒麟芯片NPU完成验证,为端侧大模型的高效运行奠定了坚实基础。
