大模型端侧部署加速，都有哪些芯片可支持？

随着人工智能技术的快速发展，大模型在端侧部署已成为行业趋势。所谓大模型端侧部署，是指将大型神经网络模型部署在移动终端设备（如手机、PC等）上，使这些设备能够直接运行模型，执行图像识别、语音识别、自然语言处理等任务。本文将带您了解大模型端侧部署的具体过程、支持芯片及其优势。

一、大模型端侧部署加速

大模型在端侧部署通常包含以下几个关键阶段：

• 模型训练阶段：使用大量标注数据训练出对应模型文件，训练时需考虑模型大小和计算量，以适应端侧硬件条件。
• 模型压缩阶段：通过剪枝、量化等手段降低模型存储和运行压力，减小模型体积和计算复杂度。
• 模型部署阶段：将压缩后的模型传输到端侧设备，安装必要的推理引擎和运行时环境。
• 推理计算阶段：设备加载模型，进行数据预处理、模型计算、结果输出等步骤。

在大模型端侧部署过程中，需面对以下技术挑战：

• 端侧设备硬件条件远弱于云端服务器，需在模型设计和压缩阶段充分考虑。
• 网络带宽和延迟可能影响推理的实时性和准确性。

为克服这些挑战，业界开发了多种工具和平台，如MLflow、Ray Serve、Kubeflow、Seldon Core、BentoML和ONNX Runtime等，帮助用户更便捷地构建、部署和管理机器学习模型。

小提示： 在进行模型压缩时，推荐优先尝试量化（如INT8）和结构化剪枝，这两者能显著减少模型体积，同时保持较高的推理精度。对于部署环境，建议使用ONNX Runtime等跨平台推理引擎，可大幅简化适配工作。

目前，大模型在端侧部署正在加速：

• PC领域：英特尔推出首款AI PC处理器后，联想、惠普、宏碁等厂商发布多款AI PC新品。据报道，已有超过10款笔记本可本地运行AI大模型，更多新品即将上市。
• 手机领域：自2023年下半年起，小米、OPPO、vivo等厂商在新系统中集成大模型能力。截至2024年1月，中国手机市场Top5（除苹果外）均已发布自有端侧大模型产品。

大模型端侧部署的优势日益凸显：一方面降低数据传输延迟和带宽限制，提高实时性和响应速度；另一方面更好地保护用户隐私和数据安全，因为数据可在本地处理，无需传输至云端。

二、国内外厂商推出支持大模型端侧部署的芯片

大模型端侧部署离不开芯片支持。英特尔、高通、联发科等均推出了针对PC、手机等移动端部署的芯片。

1. 英特尔：酷睿Ultra系列（Meteor Lake）

英特尔推出了首款基于Intel 4制程的酷睿Ultra系列处理器第一代产品Meteor Lake。该处理器首次在客户端CPU中采用Chiplet（芯粒）设计和Foveros先进封装技术，集成了NPU（神经网络处理单元），可本地运行200亿参数大模型，无需联网即可秒级生成高质量多模态数据。

2. 高通：第三代骁龙8移动平台

高通发布的第三代骁龙8移动平台是首个专为生成式AI打造的移动平台。它支持在终端侧运行100亿参数的模型，面向70亿参数大语言模型每秒生成高达20个token，且能在终端侧通过Stable Diffusion生成图片。高通还推出了AI Hub，为开发者提供AI模型库，包括超过75个AI模型（如Whisper、ControlNet、Stable Diffusion、Baichuan-7B等），开发者可轻松集成到应用中。

3. 联发科：天玑9300/8300与通义千问合作

联发科与阿里云深度合作，在天玑9300和天玑8300移动平台上实现了通义千问大模型的端侧部署。这两款芯片具备高性能、高能效特性，支持先进5G技术和生成式AI技术，为端侧大模型部署提供坚实基础。

4. 爱芯元智：AX650N芯片

国内AI芯片企业爱芯元智的AX650N芯片在大模型端侧部署方面表现突出。它能够直接支持原版Swin Transformer等大型视觉模型部署，无需修改网络结构，避免精度下降和重训麻烦。从测试板到demo复现仅需5分钟，私有模型在私有环境下运行也只需1小时。此外，AX650N具备32路视频解码/视频结构化处理、被动散热、低延时编解码、HDMI输出和USB 3.0等特性，适合视觉感知和边缘计算场景。

5. 芯动力科技：AzureBlade L系列M.2加速卡

芯动力科技（清华系AI芯片创企）面向大模型推出了AzureBlade L系列M.2加速卡。其尺寸仅80mm×22mm，非常适合PC等端侧设备。该加速卡已适配Llama 2、Stable Diffusion等模型，作为助推大模型在端侧部署的翻跟斗，突破了端侧设备有限的计算和存储能力。

常见问题1：为什么需要将大模型部署在端侧，而不是全部放在云端？
答：端侧部署可显著降低数据传输延迟（如实时语音助手、离线翻译），同时避免将用户隐私数据上传至云端，增强数据安全。对于需要低延迟、高隐私的场景（如车载、医疗终端），端侧部署是刚需。

常见问题2：如何选择适合端侧部署的大模型芯片？
答：需考虑以下因素：
- 算力与内存：根据目标模型参数量（如70亿、100亿、200亿）选择芯片的AI算力和内存带宽。
- 能效比：端侧设备电池容量有限，需优先选择高能效芯片（如联发科天玑系列采用4nm工艺）。
- 生态支持：是否有完善的推理引擎、模型库（如高通AI Hub）和开发者工具。
- 部署灵活性：如需连接摄像头，爱芯AX650N的32路视频解码特性更具优势；若追求极小尺寸，芯动力M.2加速卡是PC端理想选择。

总结

大模型端侧部署是一个涉及模型设计、压缩、优化及芯片适配的系统工程。通过合理的工具链和产业链协同，如今端侧设备已能高效运行百亿参数级大模型。从英特尔、高通、联发科等国际巨头，到爱芯元智、芯动力科技等国内创新企业，正持续推出针对性芯片与加速方案。未来，随着技术不断进步，大模型在端侧的部署将更加广泛，为智能终端带来更强大、更安全的人工智能体验。