7月19日,高通公司全球副总裁、中国区研发负责人、IEEE Fellow徐晧博士在“端侧AI创新和行业发展论坛”上,发表了题为《智能体AI时代:计算架构与模型效率的持续创新》的精彩演讲。该演讲全面梳理了端侧AI应用的发展前景,深入分析了智能体浪潮对终端计算架构带来的范式性变革。以下为本次演讲的核心内容整理。
徐晧博士指出,端侧AI应用的市场规模远超出许多人的预期——从手机、耳机到汽车,各类终端的市场空间动辄以十亿计。过去业界更多聚焦于数据中心的大规模训练,但端侧的应用同样拥有广阔前景。以手机为例,从简单的单轮对话到多轮交互,再到智能体调度,设备所需的Token处理量正以十倍级递增:一万、十万、乃至百万级。例如,在手机上调用智能体所需的Token数量非常庞大,目前阶段必须采用端云结合的方案——端侧小模型负责处理隐私性强、需要实时响应的任务,而云端则承担深度推理和规划。未来,随着模型优化与硬件性能提升,越来越多的处理将迁移到端侧,从而减少对数据传输和云端Token运算的依赖。

徐晧博士提到,面壁智能在端侧模型的布局很早便引起了高通的关注,双方存在诸多契合点。事实上,端侧模型在未来一至两年内,完全能够达到与数十倍算力的云端模型同等的功能,而且这一趋势正在加速——更多大模型将以小模型的形式迁移到端侧。随着硬件算力持续提升,这些模型在端侧也能轻松运行。
那么,从硬件设计的角度来看,要打造一款真正的智能体手机,需要攻克哪些关键难点呢?
首先是任务规划能力。智能体需要具备出色的任务规划能力,高通通过全新的CPU来承担任务规划与控制功能。
其次是传感器信息的实时处理能力。传统手机仅在用户主动发出指令时才执行任务,无需24小时感知环境。但智能体手机必须主动为用户提供帮助——例如感知到你在大会现场,自动将手机静音;感知到你进入座舱,自动调节温度和座椅位置。这需要低功耗的传感器中枢,对大量传感器数据进行高效处理和融合,精准感知环境,为智能体提供决策依据。
第三是NPU(神经网络处理单元)。为了给端侧提供强大的模型运算能力,高通对NPU进行了大量模型适配与优化,利用其高效张量计算能力,使得2B到3B量级的模型能够在手机端流畅运行。
此外,出色的5G或6G连接能力同样不可或缺。目前大部分智能体功能依赖云端,但随着端侧模型性能不断增强,端侧、云端和边缘云需要协同处理,优秀的无线连接可以将端侧与云端的算力无缝衔接。
具体到高通提供的硬件支持,传感器中枢是核心组件之一——它能够24小时在线感知用户信息,为端侧大模型或小模型提供情境感知,进而打造个人知识图谱。而NPU则为端侧提供强劲算力,例如刚才提到的20亿、30亿参数模型,皆能在端侧流畅运行。高通最新的旗舰移动平台第五代骁龙8至尊版,以及今年即将推出的更强大平台,均围绕这些需求设计。座舱芯片同样具备强大算力,能够支持百亿参数以上大模型在车端稳定运行。
从应用和模型演进的角度来看,高通已经完成了从感知AI到生成式AI,再到智能体AI的迭代。下一阶段的重点将推进物理AI,实现从小模型向多功能大模型的转变。在算法层面,高通进行了大量模型在端侧的适配工作,包括模型压缩与量化、长上下文处理与增强,以及端侧模型的持续学习(on-device learning)。
最后,从汽车到机器人的演进,需要将二维空间规划升级为三维真实世界的理解,并针对更复杂场景进行优化。这正是高通从汽车芯片到机器人芯片领域正在开展的工作。高通与面壁在手机端和车端已经展开了诸多深度合作,未来也期待联合更多合作伙伴,共同推进智能终端在端侧的应用与发展。
