数据无处不在,几乎所有人都在谈论数据以及如何从中挖掘潜在价值。庞大的原始数据既复杂又难以解读,好在过去几年里,机器学习技术让我们有能力更好地理解这些数据,并从中获益。目前,大部分价值来自在线企业,但价值也开始向由传感器生成数据的物理世界扩散。然而,对许多人而言,从传感器数据走到嵌入式AI模型这条路,似乎几乎不可逾越。
嵌入式软件的开发向来以耗时著称,比桌面软件至少多花10到20倍的时间[1]。但事情未必非得如此。下面我们就以一个真实AI项目为例,从数据收集到嵌入式应用,一步步展示一种高效省时的方法,帮助开发者快速实现边缘智能。
机器学习的边缘计算
如今,处理和解释传感器数据的绝大多数软件仍基于传统方法:变换、滤波、统计分析等。这些方法通常由工程师根据个人领域知识,在数据中寻找某种“指纹”。然而,这种指纹往往是数据中事件的复杂组合,只有依靠机器学习才能成功解决问题。边缘计算让模型在本地运行,无需依赖云端,从而满足实时性、低功耗和隐私保护要求。
为了实时处理传感器数据,机器学习模型必须在芯片本地运行,靠近传感器本身——也就是通常所说的“边缘”。接下来我们解释如何从初始数据收集阶段到最终嵌入式应用创建一个机器学习应用,并以Imagimob与雷达制造商Acconeer合作的手势识别项目作为示例,展示端到端的边缘AI开发流程。
嵌入式AI项目:手势识别
(左)Acconeer生产世界上最小、最节能的雷达系统,为边缘设备提供高精度感知能力。
2019年,Imagimob与Acconeer合作,创建了一个带手势识别的嵌入式应用程序。两家公司都专注于小型电池供电设备,对能效、处理能力和BOM成本有极端要求。目标硬件包含一个基于Arm Cortex-M0/M4架构的MCU,提供了市场上最节能的计算平台。对Imagimob而言,边缘计算几乎已经成为在最小Arm Cortex M系列MCU上进行高级计算的代名词。能在低端Arm Cortex M系列MCU上运行应用程序至关重要,因为这表明我们瞄准的是地球上最小的设备——从市场角度来说,这正是我们的战略目标。
Acconeer生产世界上最小、最节能的雷达系统。雷达数据包含大量信息,对于手势控制这类高级用例,需要复杂的解读。在数据输出流之上运行机器学习软件,对这些案例有巨大帮助,能实现更精准的实时交互。因此,Imagimob与Acconeer的协作,在创建全新且富有创意的嵌入式应用程序方面是绝佳组合,推动了边缘AI在物联网设备中的落地。
合作项目的目标是创建一个嵌入式应用程序,能够使用雷达数据实时分类五种不同的手势(包括用于唤醒应用的手势)。由于雷达体积小,可以置于耳机中,手势将作为虚拟按钮来控制通常由物理按钮完成的功能。最终产品被确定为一个运行在Arm Cortex-M4架构上的C库,并在2020年1月拉斯维加斯的CES上作为现场演示亮相。演示时使用的是耳罩式耳机,但长期产品目标是在入耳式耳机中应用该技术。手势检测尤其会改变入耳式耳机的可用性——因为其表面积有限,物理按钮很难放置,而基于机器学习的无接触控制将大幅提升用户体验。
从数据收集到嵌入式C库的完整流程
在核心层面,(监督)机器学习就是寻找一个函数F,将输入数据X映射到输出数据Y:Y = F(X)。这个函数或“模型”通过处理大量不同的输入/输出对(X, Y)并“学习”它们之间的关系而得到。如果Y是连续值,问题称为回归;如果Y是离散值,则为分类问题。因此,机器学习项目的第一步是收集这些数据对;第二步是构建模型;嵌入式项目的最后一步是在目标平台上部署模型,实现推理。下面以手势识别项目作为引导示例,逐步说明这些关键步骤,帮助读者掌握从传感器数据到嵌入式AI应用的实现方法。
- 手势检测库以Acconeer XM122 IoT模块的雷达数据作为输入,实现实时手势分类
- 手势库的内存占用约为80 kB RAM,适合资源受限的嵌入式设备
- 库运行在32位64 MHz Arm Cortex M4 MCU上(1 MB Flash,256 kB RAM),体现极致能效比
- 库每秒处理约30 kB数据,满足边缘实时处理需求
- AI模型执行时间约70 ms,这意味着以约14.3 Hz的频率预测手势,确保流畅交互
下一步:手势控制的入耳式耳机
2020年6月,由Imagimob、Acconeer和Flexworks组成的联盟从瑞典Vinnova获得了45万美元的拨款,用于进一步构建手势控制的入耳式耳机。Acconeer负责传感部分,Flexworks负责硬件和力学,Imagimob负责开发手势检测应用程序。在这个项目中,不仅将建立首款手势控制的入耳式耳机,还将致力于单片机上机器学习代码的硬件加速系统,提升推理效率。将继续使用Arm Cortex M系列,并受益于Arm提供的先进解决方案,推动边缘AI在可穿戴设备中的普及。
[1] McConnell,Steve,《软件估算:神秘的黑色艺术》,微软出版社,2006年。
