消费者对更好用、更安全、更流畅的体验，似乎永远不满足。人机界面（HMI）的演进就是最好的证明：从最初纯粹的物理触控，到后来融入语音、手势、视频乃至各种计算机视觉能力，范围覆盖了销售终端到智能家居的各个角落。下一步呢？设备不仅要听懂直接指令，还要能推断出用户的意图。这才是真正的“懂你”。

与此同时，对传统云端连接设备的安全性和延迟的担忧越来越突出，这自然推动了边缘处理的普及。在人机界面领域尤其如此。但本地处理也给技术开发人员带来了新挑战：必须权衡特定用例的要求、开发选项，以及在设备中引入机器学习训练的智能所增加的成本——这些智能需要带来新的自动化水平，才能增强感知智能和环境计算。

边缘AI是基础

所谓边缘AI（Edge AI），是实现更复杂、更友好、更安全的物联网体验的基石。简单来说，边缘AI意味着所有AI处理都在最终产品内部完成——比如机顶盒或智能显示器，而不是在云端。这么做的理由大家耳熟能详：更好的隐私保护、更少带宽占用、更快的响应时间，甚至更环保（边缘处理减少了大型数据中心对能源、水和其他资源的消耗）。

边缘AI其实已经渗透到日常应用的很多角落，但最初的应用大多集中在昂贵的产品上，比如智能手机和汽车。因此，针对这些产品的边缘AI方案也很昂贵，对智能家居的消费零售设备来说一度遥不可及。而且，现有的大多数边缘AI应用，在用户体验上还比较“一维”——比如ADAS（高级驾驶辅助系统）中的视觉处理，或者手机里的图像质量增强。

那么，为智能家居创建和采用边缘AI解决方案，到底有哪些令人信服的理由？

HMI推动家庭中的边缘AI

眼下，人们对无处不在的消费物联网细分市场兴趣浓厚，应用机会越来越多：娱乐、通信、家庭自动化、安全，以及各种其他设备。尤其是在当前时代，消费者渴望互联体验，但又不想承受传统互联带来的成本、隐私和性能问题。对更具沉浸感和感知力的人机交互的需求，正是推动智能家居中边缘AI需求的关键因素。

随着市场上出现基于AI的智能家居边缘计算解决方案，创造更人性化体验所需的性能，将逐步普及到更广泛的产品中。

智能家居中边缘AI的实际应用案例很多。有些已经带来明显的好处。比如家用门铃摄像头，能区分“包裹掉落”和“包裹被盗”这样的关键差异。娱乐设备可以自动检测低分辨率视频流，并将其提升到更高的分辨率，画质出色，让高分辨率电视的屏幕物尽其用。就连大家已经非常熟悉的视频会议应用，也能通过更高质量的视频和音频得到增强，而且这些功能可以用在成本可控的设备上。

还有些例子看起来更具未来感。冰箱可以根据里面的食材储备，主动推荐晚餐菜单。烤箱能告诉你什么时候食物烹饪得恰到好处。一个虚拟的私人家庭瑜伽教练，可以提醒你在做姿势时伸直手臂。家庭自动化设备可以协同工作，预测房主的需求——从取暖、准备食物，到选择电视上想看的节目。

这些解决方案可以把视频、视觉和语音传感器与AI处理功能相结合，为新一代熟悉的设备（智能显示器、条形音箱、机顶盒、安全摄像机等）带来增强的功能。

这些应用的共同点，是需要一个基于边缘的、基于AI的解决方案，而且这个方案必须专门针对智能家居（而不是智能手机或汽车）量身定制。要想进一步推动边缘AI的民主化，解决方案必须做到：

• 在高效系统中结合语音、视频和视觉，支持多模式AI增强的用户体验；
• 通过标准工具，让更广泛的AI开发者和创新者能够访问；
• 确保安全和隐私措施符合消费者的预期。

智能家居人机交互需要多模式方法

就像刚才提到的，针对智能手机和汽车应用的边缘AI方案，主要侧重摄像头视觉应用。但在智能家居里，多模式人机交互界面才是连接设备新时代增强用户体验的关键。以机顶盒为例，它需要视频AI（比如前面提到的视频增强），也需要语音AI来识别正在看电视的人，并据此配置体验——比如让选择喜欢的节目变得更容易。甚至可能还需要视觉AI，配合内置摄像头，让远程家庭聊天时提供更增强、更直观的视频会议体验。

理想的解决方案是以智能家居为中心的SoC（系统级芯片），既能支持高性能视频、语音和视觉处理，又集成了AI翻跟斗。Synaptics VS600 SoC系列就是这样的例子。这种方法不仅针对智能家居应用的多模式AI性能进行了优化，还能把所有这些功能集成到单个芯片中，从而让普通家用产品也能以消费者市场的价格买到。

这个解决方案从一个SoC平台开始，该平台集成了多种处理器引擎：CPU、NPU、GPU和ISP，以及与高性能摄像头和显示器的接口。这种架构实现了高度安全、低成本推理和实时多模式性能的理想组合。Synaptics Edge AI系列就是一系列这样的SoC，每个都高度针对其给定的消费应用，集成了所需处理内核及相应级别的AI性能。

完整的堆栈工具方法可简化AI开发

成本与性能之间的权衡，对边缘AI扩展到更多应用至关重要。在竞争激烈的消费电子领域，上市时间和差异化同样关键。为了应对边缘AI广泛传播的挑战，需要全栈方法，包括将AI创新引入边缘AI SoC的必要开发工具。

最重要的是，所需的工具集应与庞大且不断增长的AI开发者社区兼容。例如，工具包能让开发者导入使用行业标准框架（TensorFlow、TensorFlow Lite、Caffe、ONNX等）创建的模型。这样开发者就能利用现有的AI创新，并快速轻松地在目标SoC上运行。

拿前面提到的家庭瑜伽教练应用来说。该应用基于的AI模型是人体姿态估计模型——一种行业标准概念，用于检测用户在摄像头画面中的相对骨骼位置。如果开发者自己使用TensorFlow Lite创建了人体姿态估计模型，他们就能用工具包导入，在所需SoC上使用。

当开发者准备就绪时，工具应该能让他们针对所选处理器的特点优化AI模型性能。开发者可以选择使用开放框架（如TensorFlow或TensorFlow Lite），但使用时要考虑目标处理器的能力。或者，也可以使用SoC特定工具（比如Synaptics的SyNAP工具），它专门针对VS600 SoC中的处理器进行优化。在我们的例子中，开发者可以用SyNAP优化功能配置人体姿态估计模型，使其以30帧/秒的速度在VS600 SoC上实时运行。

但安全和隐私需要满足消费者期望

人机界面的未来听起来很光明，但采用的最大障碍可能是用户担心隐私和安全受到损害。新闻里不乏此类故事，印证了这种担忧。任何有意义的人机界面解决方案都必须正视这一点。

好消息是，这些视频、语音和视觉数据将在设备中（而不是云端）进行处理，这在隐私方面已经迈出了一大步。拿视频门铃来说，通过把AI智能直接加到门铃本身，前门的视频不需要24小时往云端传，只在出现特定事件时才传输——比如AI引擎检测到一个可疑人物接近门。至于家庭瑜伽教练，应用可以完全在设备中运行，根本不需要把任何图像从家里发送到云端服务器。

但即使图像从未发送到云，用户也可能担心这些图像在设备中被捕获和处理（哪怕是暂时的）。还有安全隐患：别有用心的人可能试图从设备中获取这些数据。因此，理想的智能家居AI解决方案还必须确保以安全的方式捕获和处理内容，这一点至关重要。

智能家居安全

物联网的新时代将由更多的“本地智能”（边缘AI）来推动，这将降低始终在线连接的需求和相关风险。在边缘设备上进行处理的AI驱动神经网络，是加速采用感知智能系统的关键。通过在边缘实现这一功能，系统能以更高的安全性和隐私性以及更低的延迟运行。能够支持多模式接口解决方案的高性能、多处理器SoC（以消费者市场的价格提供），将帮助开发者快速利用AI创新，让自己的产品脱颖而出。

机器如何利用语音、视频和视觉数据，如何利用它们来理解和预测性地响应我们所做的事情（比如说话或触摸），将改善物联网在我们的生活中提供前所未有的安全性、便利性和生产力。