从机器视觉的应用视角出发，本文按照由基础到复杂的逻辑顺序，系统梳理相机标定、平面物体检测、有纹理物体、无纹理物体、深度学习，以及视觉与任务/运动规划的融合这六大核心模块，深入解析机器视觉在机器人抓取领域的关键技术及其演进脉络。

首先明确一个基础概念：机器人领域的机器视觉（Machine Vision）与计算机视觉（Computer Vision）虽共享诸多技术，但其核心目标存在本质差异——机器视觉的核心是为机器人提供操作物体所需的精准信息。具体而言，主要涵盖三大模块：

• 物体识别（Object Recognition）：从图像中判断物体所属类别，这一方向与CV领域的研究高度重叠；
• 位姿估计（Pose Estimation）：计算物体在相机坐标系下的位置与姿态——机器人若要抓取物体，仅知道“是什么”远远不够，还必须明确“在哪里”；
• 相机标定（Camera Calibration）：前两步仅能获得物体在相机坐标系下的位姿，而机器人实际执行操作需要自身坐标系下的位姿，因此必须预先确定相机与机器人之间的相对位置关系。

本文重点讨论物体抓取场景下的机器视觉，暂不涉及SLAM等其他领域。视觉作为机器人感知的关键环节，相关研究已非常丰富。以下按照技术复杂度逐层递进，从成熟方案到前沿趋势依次展开。

一、相机标定

相机标定是目前发展最为成熟的领域之一。所有物体识别都只能计算物体在相机坐标系中的位姿，而机器人操作需要的是机器人坐标系下的坐标，因此相机位姿标定是第一道技术门槛。

内参标定已实现标准化，可直接参考张正友的论文或各类标定工具箱。外参标定则根据相机安装方式分为两类：

• Eye to Hand：相机固定于机器人基座，不随机械臂运动；
• Eye in Hand：相机固定在机械臂末端，随机械臂共同运动。

两种方式的求解思路相通。以眼在手外为例：

在机械臂末端固定一个棋盘格，令机械臂在相机视野内运动若干个姿态。相机可以计算出棋盘格相对于相机坐标系的位姿A_i，机器人运动学正解则可获得底座到末端爪手的位姿变化E_i，而末端爪手与棋盘格的相对位姿固定不变。由此形成坐标环方程：CX = XD。该类方程有多种求解方法，经典参考文献为：

Shiu, Yiu Cheung, and Shaheen Ahmad. "Calibration of wrist-mounted robotic sensors by solving homogeneous transform equations of the form AX= XB." IEEE Transactions on Robotics and Automation 5.1 (1989): 16-29.

眼在手上的情况类似：在地上任意放置一个棋盘格（与机器人基座固连），让机械臂带着相机运动几个位姿，同样可以构建出AX=XB的坐标环方程。

二、平面物体检测

这是工业流水线中最常见的应用场景。此类场景对视觉系统的要求可概括为三个关键词：快速、精确、稳定。因此主流方案采用边缘提取+边缘匹配/形状匹配，并配合强光源与高对比度背景，以最大限度减少环境干扰。

许多智能相机（如Cognex）已直接内置了此类功能。物体通常放置在一个平面上，相机仅需计算物体的(x, y, θ)三自由度位姿。而且这类场景通常只处理单一特定工件，相当于只需位姿估计，无需进行物体识别。

工业应用追求稳定性无可非议，但随着生产自动化要求的持续提升以及服务机器人的兴起，对复杂物体的完整六自由度位姿(x,y,z,rx,ry,rz)估计，已成为机器视觉领域的研究热点。

三、有纹理的物体

机器视觉最早研究的对象之一就是带有丰富纹理的物体，例如饮料瓶、零食盒等表面具有明显图案的物品。

当然，这类物体也可以采用边缘提取加模板匹配的方法。但实际环境要复杂得多：光照条件不确定、距离变化大、视角多变，甚至可能被部分遮挡。幸运的是，Lowe提出了SIFT（Scale-invariant feature transform）这一强大的局部特征点算法：

Lowe, David G. "Distinctive image features from scale-invariant keypoints." International Journal of Computer Vision 60.2 (2004): 91-110.

具体原理可查阅这篇被引用超过4万次的论文或相关技术博客。简单来说，SIFT提取的特征点仅依赖于物体表面的局部纹理，对光照变化、尺度变化、仿射变换以及整体遮挡具有较好的不变性。

利用SIFT特征点，可以在相机图像中直接找到与数据库相匹配的特征点，从而确定物体的类别（物体识别）。

对于非变形物体而言，特征点在物体坐标系下的位置是固定的。获取若干匹配点对后，可直接求解单应性矩阵。若使用深度相机或双目视觉系统，还能确定每个特征点的三维位置，进而直接求解PnP问题，获得物体在当前相机坐标系下的位姿。

实际应用中有诸多细节需要处理：通过点云分割和欧氏距离滤除背景干扰，选用特征稳定的物体（有时SIFT也会受光照影响变化），利用贝叶斯方法加速匹配等。此外，在SIFT之后还涌现了SURF、ORB等多种特征点算法。

四、无纹理的物体

有纹理的物体相对容易处理，但生活中和工业场景中存在大量无纹理物体，例如塑料零件、金属工具、陶瓷杯等。那么，是否存在一种特征点既能描述物体形状，又能具备SIFT那样的不变性？遗憾的是，据目前所知，这类特征点尚未出现。

因此，主流方法依然基于模板匹配，但匹配的特征经过了专门设计，不再局限于边缘等简单信息。这里介绍一个经典且被广泛复现的算法——LineMod：

Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference. IEEE, 2011.

简单来说，该方法同时利用彩色图像的图像梯度和深度图像的表面法向量作为特征，与数据库中预先生成的模板进行匹配。数据库中的模板来源于物体多个视角的拍摄生成，因此匹配得到的位姿仅为初步估计，精度有限。

但有了这一初步估计后，可直接运用ICP算法（Iterative Closest Point）将物体模型与三维点云进行精确匹配，从而获得高精度位姿。

当然，具体实施中仍有许多细节，例如模板的构建方式、颜色梯度如何表示等。此外，该方法难以应对物体被严重遮挡的情况（降低匹配阈值可部分缓解，但会引入误识别）。针对部分遮挡问题，已有改进研究，不过相关论文尚未公开发表，此处不再赘述。

五、深度学习

深度学习在计算机视觉领域取得了巨大成功，机器人领域也自然尝试将其引入物体识别。物体识别部分可直接借鉴CNN的成果——2016年亚马逊抓取大赛中，众多参赛队伍都采用了深度学习进行物体识别。

然而有趣的是，尽管大家使用深度学习做识别，但在物体位姿估计环节仍较多采用传统或相对简单的算法。常见方案是：利用语义分割网络（semantic segmentation network）在彩色图像上进行物体分割，然后将分割出的点云与物体三维模型进行ICP匹配。

当然，直接使用神经网络进行位姿估计的研究也已出现，例如：

Doumanoglou, Andreas, et al. "Recovering 6D object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.

该方法的大致思路：针对一个物体采集大量局部RGB-D数据块（仅关注局部patch，利用局部特征应对遮挡），每个数据块对应一个相对于物体坐标系的坐标。首先使用自编码器对数据进行降维，然后利用降维后的特征训练Hough Forest，最终输出位姿估计结果。

六、与任务/运动规划结合

这一部分尤为值得关注。机器视觉的最终目标是为机器人操作提供决策信息，因此它不能孤立存在，通常需要与机器人的运动规划和任务调度深度融合。举例来说：让机器人从冰箱里拿一瓶“雪碧”，但“雪碧”被“美年达”遮挡住了。

人类会自然而然地先移开“美年达”，再去取“雪碧”。但对机器人而言，它必须通过视觉判断“雪碧”位于“美年达”后方，同时还要确定“美年达”是可移动的物体，而非冰箱门这类固定不可拿取的结构。视觉与运动规划的深度结合会衍生出许多富有挑战性的新问题。这部分并非笔者的核心研究方向，因此不再深入探讨。