AI在边缘侧的应用正在变得越来越普遍，而这背后离不开AI SoC芯片的支撑。简单来说，边缘计算AI SoC就是把人工智能和边缘计算能力塞进一颗系统级芯片里——它集成了高性能处理器核心、AI翻跟斗、内存控制器、外设接口以及通信接口等关键组件。目标就是在数据产生的源头附近（也就是边缘）实现实时的数据处理、分析和决策，而不是把所有数据都传到云端再处理。

边缘计算SoC的发展历程

SoC的发展经历了几个关键阶段。早期（1970年代至1980年代），微处理器技术刚刚冒头，英特尔推出了第一款微处理器Intel 4004，这通常被看作是SoC技术的起点。随着制造工艺的改进，设计师开始把更复杂的元件——比如CPU、内存和输入/输出接口——都集成到单颗芯片上，从而诞生了更先进的应用特定集成电路（ASIC）。

到了1990年代至2000年代，半导体工艺进一步成熟，模拟功能和数字功能也能整合到同一芯片上了。这为边缘计算提供了更强大的硬件基础，因为边缘设备需要具备一定的本地数据处理和计算能力。这个时期的SoC设计越来越复杂，集成了GPU、DSP等更多功能模块。

2010年代是个分水岭。随着物联网、可穿戴设备以及边缘计算设备的需求激增，制造商开始针对特定使用场景调整SoC设计，把AI和机器学习功能集成进来。这一趋势推动了定制化SoC的快速发展，让芯片能够更精准地满足具体应用的需求，在性能和效率上都有明显提升。

进入2020年代及以后，AI、5G和边缘计算全面爆发，SoC继续演化以应对日益增长的复杂性和处理要求。AI技术已经成为SoC架构的核心组成部分，为边缘设备赋予了更强的智能处理能力。例如，通过集成AI翻跟斗、神经网络处理器（NPU）等专用硬件，SoC可以显著加快AI算法的执行速度，提高处理效率和响应速度。

如今，边缘计算AI SoC的应用已经覆盖了多个领域和行业。比如在智能制造中，设备上安装了集成AI SoC的边缘计算设备后，就能实时监测生产设备的运行状态和产品质量。这些设备能在本地实时分析数据，预测设备故障，优化生产流程，从而提升生产效率和产品质量。

再看智慧城市。在智能交通系统里，边缘计算AI SoC可以实时分析交通流量、车辆行驶轨迹等数据，自动调整交通信号灯的控制策略，缓解拥堵。而在智能安防领域，城市各个角落部署的边缘计算设备能实时监测安全状况，进行人脸识别、行为分析等操作，有效提高公共安全水平。

医疗领域同样受益良多。在医院中，边缘计算AI SoC可以实时监测患者的心率、血压、血糖等生理数据。通过对这些数据的实时分析，医生能够更及时地了解患者的健康状况，做出更准确的诊断和治疗方案。在远程医疗场景下，边缘计算AI SoC还能支持远程会诊、远程手术等功能——医生远程访问患者的医疗数据，进行诊断和治疗，极大提高了医疗服务的效率和可及性。

边缘AI SoC支持大模型

随着大模型的发展，将其部署到边端侧已经成为趋势。目前已有不少企业推出了支持大模型运行的边缘SoC芯片。例如边缘AI半导体公司安霸（Ambarella），日前在美国AutoSens展会上宣布推出两款用于车载车队远程信息处理系统的最新AI系统集成芯片（SoC）。

新款CV75AX非常适合集成前置ADAS和驾驶员监控系统（DMS）的AI行车记录仪。与安霸上一代SoC相比，其AI性能提升了2倍，使得最新的Transformer神经网络能够提高准确性并减少误报，而且无需针对每个对象进行额外训练。

另一款CV72AX则非常适合下一代车载网关，最多支持10个摄像头，AI性能比前代产品高出6倍。它支持视觉Transformer和多模态视觉语言模型（VLM），能够提供实时监测预警，以及多通道视频预分类和自然语言搜索，从而实现更高效的视频分析。

安霸此前还推出了基于CV72芯片的多模态大模型推理解决方案——Cooper Mini。这个方案专门为边缘计算环境量身定制，特别适合需要在设备上直接进行高级数据处理的应用。在2024年CES期间，安霸推出了基于N1的多模态大模型解决方案Cooper Max，通过单颗N1芯片支持高达340亿参数的多模态大模型推理。而新推出的基于CV72的Cooper Mini，则可以在低功耗系统单芯片上实现高达30亿参数的多模态大模型推理。

还有AMD此前推出的第二代Versal自适应SoC，其中的Versal AI Edge系列专门针对AI驱动型嵌入式系统进行了设计。这款SoC每瓦TOPS（每秒万亿次操作/瓦特）最多提升3倍，标量算力最多提升10倍，使其能够更有效地支持大模型的部署和运行。

国内的云天励飞也有一款边缘计算芯片DeepEdge10。这是一款国产Chiplet大模型推理芯片，内置自研的新一代神经网络处理器NNP400T，通过D2D高速互联Chiplet技术、C2C Mesh互联架构实现算力扩展，能够支持千亿级参数大模型，落地于边缘设备和边缘服务器。

还有北京奕斯伟推出的边缘计算SoC芯片EIC7700X，采用64位RISC-V高性能处理器，搭配自主研发的高效神经网络计算单元，支持全栈浮点计算，全面加速生成式大模型。它拥有丰富的外围扩展接口，并具备强大的音视频处理能力，在计算机视觉应用领域具有超高的适应能力。

写在最后

总的来说，边缘计算AI SoC在当前计算领域具有显著优势，包括效率高、功耗低、安全性高、实时分析、分布式处理等。凭借这些优势，边缘计算SoC已经在各个领域得到广泛应用。同时，也有不少边缘SoC能够支持大模型的运行。不过，边缘计算SoC也仍然有其局限性，比如定制化成本高、技术更新迅速、数据隐私和安全挑战等，这些都需要持续去突破。