MediaTek 与 Meta 合作：在终端设备上运行 Llama 2 生成式 AI

2023 年 8 月 24 日 – MediaTek 今日宣布，将借助 Meta 新一代开源大语言模型（LLM）Llama 2 以及 MediaTek 先进的 AI 处理器（APU） 和完整的 AI 开发平台 NeuroPilot，构建完善的终端侧 AI 计算生态。这一生态系统将加速智能手机、物联网、汽车、智能家居等边缘设备的 AI 应用开发，为终端设备提供更安全、可靠且富有差异化的使用体验。预计今年年底，搭载 MediaTek 新一代天玑旗舰移动芯片的智能手机，将率先支持基于 Llama 2 模型开发的 AI 应用，为用户带来令人振奋的生成式 AI 体验。

合作背景：MediaTek 与 Meta 强强联手

MediaTek 资深副总经理暨无线通信事业部总经理徐敬全博士指出：“生成式 AI 的快速普及，正成为数字化转型的关键驱动力。我们的目标是让 Llama 2 的开发者和终端用户都能获得强大工具，从而催生更多令人兴奋的 AI 创新与产品体验。通过与 Meta 的合作，MediaTek 将提供更全面的硬件与软件整体解决方案，为终端设备赋予前所未有的功能和体验。”

终端侧生成式 AI 的四大独特优势

目前，大多数生成式 AI 都依赖云计算。MediaTek 基于 Llama 2 模型成功实现直接在终端设备上运行生成式 AI 应用。这将为开发者和用户提供以下 独特优势：

• 无缝的使用体验：无需等待云端响应，本地运行更加流畅。
• 更强的用户信息安全和可靠性：数据无需上传云端，隐私保护更到位。
• 更低延迟：本地计算几乎无网络延迟，响应速度极快。
• 离线运算的能力：即使没有网络连接，也能正常使用生成式 AI 功能。
• 更低的运营成本：减少云端计算费用，对开发者和用户都更经济。

技术支撑：高算力低功耗 APU 与完整软件栈 NeuroPilot

要在终端设备上充分释放生成式 AI 的潜力，设备制造商需要采用 高算力、低功耗的 AI 处理器（APU），并通过更快、更可靠的网络连接来提升设备的整体算力。目前，每一颗 MediaTek 5G 智能手机 SoC 都集成了 AI 处理器，并已成功应用于多种生成式 AI 场景，例如：

• AI 降噪（AI-NR）
• AI 超级分辨率（AI-SR）
• AI 运动补偿（AI-MEMC）

未来展望：年底推出新一代旗舰移动芯片

MediaTek 计划于今年年底推出新一代旗舰移动芯片，该芯片将搭载针对 Llama 2 模型优化的软件栈（NeuroPilot），并配备支持 Transformer 模型骨干网络加速的升级版 AI 处理器（APU），从而减少动态随机存取内存（DRAM）的读写消耗与带宽占用，进一步提升大语言模型和生成式 AI 应用的性能，助力开发者打造令人惊艳的 AI 应用，加速终端设备 AI 应用落地。