机器人视觉技术是赋予智能机器人“看懂”世界能力的关键所在。从早期仅有简单避障功能的扫地机器人，发展到如今能够自主导航、精准识别物体、适应复杂动态环境的智能体，视觉能力的每一次跃升都带来了质的飞跃。本教程将带您深入剖析机器人视觉面临的三大核心挑战，并围绕一套清晰的四阶段战略展开，重点讲解前两个阶段——预处理和特征检测，同时结合Qualcomm Robotics RB3开发套件，帮助您快速上手实际开发。
机器人视觉的三大挑战
要实现真正自主的智能机器人，开发者必须攻克以下三个核心难题：
- 确定对象的方向：机器人不仅要识别周围环境中的物体，还必须判断它们在三维空间中的朝向，以便后续与这些物体交互或进行规避。
- 处理移动对象：环境中的物体可能并非静止不动。机器人需要在时间和空间维度上完成对物体的检测、识别与持续跟踪。
- 导航：为赋予机器人自主性，还需要相应的算法使其能够在不断变化的环境中灵活移动。
四阶段战略概述
开发者可以根据实际需求，采用四阶段策略来逐一克服上述挑战：
- 预处理：将从现实世界（如传感器和摄像头）收集到的原始数据进行转换，使其更便于后续处理。
- 特征检测：从已预处理的数据中提取关键特征，例如角点、边缘等。
- 对象检测和分类：基于检测到的特征识别物体，并依据已知的特征图谱对物体进行分类。
- 对象跟踪和导航：对已识别的对象进行持续跟踪，包括物体自身运动以及机器人移动时环境视角的变化。
这些阶段生成的数据最终可用于控制伺服机构、执行决策，以及完成其他高级机器人任务。
Qualcomm Technologies, Inc. 近期发布了 Qualcomm机器人RB3平台（RB3）（基于Qualcomm SDA845 SoC（SDA845））及配套的 Qualcomm Robotics RB3开发套件。该套件为开发者提供了强大的移动硬件性能与丰富的工具支持，助力您从容应对上述挑战。
本系列文章共两篇，在第一篇中，我们将重点讲解该策略的前两个阶段：预处理和特征检测，以及如何借助功能丰富的开发工具包（如 Qualcomm Robotics RB3开发套件）快速落地。
第一阶段：预处理
机器人通过一个或多个摄像头及传感器从现实世界采集数据。然而，这些原始数据通常无法直接满足准确计算与预测的需求。此时，可以运用数字信号处理（DSP）等方法对数据进行“清洗”，使其更易于使用。
举例来说，图像数据的清洗方式有多种，包括调整尺寸、进行伽马校正和增强对比度；而来自Qualcomm Robotics RB3开发套件上惯性测量单元（IMU）、加速度计、气压计和麦克风等传感器的数据，则可以进行融合、插值和滤波处理。
数据采集的关键参数
处理图像数据时，需要合理规划采集的数量与速度。Qualcomm Robotics RB3开发套件支持双路（立体）图像输入，这意味着系统需同时处理两个图像平面。此外，它可支持16~32万像素的分辨率以及30~60 fps的帧率。同样，利用Qualcomm SDA845上的高速与低速连接器，结合您选用的传感器类型，能以多种频率和比特率采集传感器数据。
小提示： 为降低数据处理开销，建议采用最低采样率和分辨率，仅满足应用所需的最小数据量即可。同时，应尽可能将处理流程卸载至合适的专用处理器。
硬件加速与API支持
Qualcomm SDA845兼容专用硬件，包括Qualcomm Hexagon 685 DSP与Qualcomm Spectra 280 ISP，以及通用的Qualcomm Kryo 385 CPU和面向图形处理的Qualcomm Adreno 630 GPU。
在API层面，开发者可以调用Qualcomm计算机视觉库，该库提供了大量用于图像预处理的硬件加速API。也可使用Qualcomm神经处理引擎SDK，其中包含专为神经网络图像预处理设计的API。此外，还可选择Qualcomm骁龙异构计算SDK，以更精细地控制计算操作的执行方式。
第二阶段：特征检测
在获得干净的数据之后，即可进入特征提取环节。对于可视化数据，计算机视觉开发者常用的四种特征包括：
- 角落：具有局部二维结构的点状特征
- 边缘：两个区域之间的一组像素点
- Blob：感兴趣的区域块
- 脊：带有脊线走势的曲线
这篇维基百科文章提供了关于这些特征的更多信息，并列出了多种特征检测器算法以及它们各自检测的特征类型。下图展示了从可视化数据中检测到的特征：
并行处理与API
特征检测算法通常需要大量计算资源，但由于它们多半是逐像素运行，因此非常适合在Qualcomm SDA845的不同处理器上并行执行。开发者可以调用计算机视觉库中的特征检测API，其中包括Harris角点检测器、FAST、霍夫变换等检测器，以及基于最大稳定极值区（MSER）的对象检测API。
常见问题： 为什么特征检测要在预处理之后进行？
答：预处理能对原始数据进行清洗（如去噪、增强对比度），使特征检测算法更稳定、准确地提取关键信息，有效避免噪声干扰导致的误检测。
总结与展望
前两个阶段为机器人视觉处理奠定了坚实基础。预处理负责将数据转换为可用形式，而特征检测则是对数据加以理解。在后续文章中，我们将继续探讨最后两个阶段：对象检测和分类、对象跟踪和导航，为机器人提供导航以及与周围环境交互所需的关键数据。
借助Qualcomm Robotics RB3开发套件，开发者能够充分发挥其强大的异构计算能力及丰富的软件库，大幅降低开发门槛，加速智能机器人产品的落地与迭代。