在图像处理与计算机视觉领域，尽管研究已持续数十年，但许多核心难题至今仍是开放的研究课题。为何机器无法像人类一样轻松“看懂”一张照片？因为对计算机而言，图像不过是冷冰冰的数字集合。要从这些数字中提取有意义的语义信息，必须面对数据量庞大、信息丢失严重、伴随多种噪声以及理解困难四大挑战。接下来，我们将逐一解析这些核心难题。

一、机器如何“看到”图像？

人类观看图像时，会自然感知其中的物体、人物或场景。但机器“查看”图像时，它看到的只是一堆代表单个像素的数字。

举例来说：假设你有一张灰度图像，每个像素由0到255之间的数字表示（此处忽略压缩、色彩空间等细节）。其中，0代表黑色（无色），255代表白色（全强度），0到255之间的数值则是灰色阴影，如下图所示。

因此，要让机器理解图像内容，就必须以某种方式处理这些数字。这正是图像/视频处理与计算机视觉的核心——处理数字！

二、为何计算机视觉如此困难？

1. 数据量庞大

如上所述，计算机看到的全是数字，而且是海量的数字。大量数字意味着需要处理庞大的数据量，才能被有效理解。

举例说明图像的数据量究竟有多大：一张1920 x 1080分辨率的灰度（黑白）图像，由大约200万个像素（1920 × 1080 = 2,073,600）描述。如果切换到彩色图像，则需要三倍的数字，因为彩色像素通常需要指定红色、蓝色和绿色的数值。若分析视频流（例如30帧/秒的标准帧率），你突然要处理每秒1.8亿个数字（3 × 2,073,600 × 30 ≈ 1.8亿像素/秒）。即使拥有当下功能强大的处理器和相对较大的内存，要让机器每秒从1.8亿个数字中做出有意义的事，仍然极其困难。

小提示：在处理超大数据量时，可以考虑使用降采样、多尺度分析或并行计算技术，帮助算法聚焦关键区域，降低无效负载。

常见问题

问：每秒1.8亿个数字，现代处理器真的无法实时处理吗？
答：现代专用硬件（如GPU、TPU）确实可以高速处理这些数字，但问题在于“理解”而非“计算”。简单的像素操作（如滤波）可以实时完成，但高级语义分析（如物体识别、场景理解）仍需要大量算法和模型推理时间，每秒1.8亿像素的压力对任何深度学习模型都是巨大挑战。

2. 固有的信息丢失

数字化过程中的信息丢失是计算机视觉难度的另一个主要因素。图像处理的本质是将3D世界（若是视频流则为4D）投影到2D平面（平面图像），这会导致大量深度、遮挡、立体关系等信息的丢失。

我们的大脑可以出色地推断出丢失的信息，如物体大小、远近，但对计算机来说却是极高难度的挑战。下图显示的是一个凌乱的房间。

我们可以轻松看出，绿色健身球比桌上的黑色平底锅更大更远。但如果黑色平底锅在图像中占据更多像素，机器应该如何判断？这并非易事。当然，我们可以通过同时拍摄两张照片并从中提取3D信息（即立体视觉）来模拟双眼视觉。然而，将图像拼接在一起也不是一项微不足道的任务，同样是一个开放的研究领域。

小提示：使用双目相机或深度传感器（如Kinect、LiDAR）可以直接获取深度信息，大幅缓解单目图像的信息丢失问题。

常见问题

问：机器如何从单张2D图像中估计物体的真实大小和距离？
答：目前主要通过深度学习模型（如单目深度估计网络）进行预测，结合物体先验知识（如人的平均身高、汽车的典型尺寸）来推断。但预测结果受场景多样性、遮挡、光线等影响，精度远不如立体视觉或距离传感器。

3. 伴随噪声

数字化过程中经常伴随着噪声。没有相机能拍出完美不含噪声的现实图片，尤其是手机摄像头，它们会通过调整强度、色彩饱和度等尝试捕捉美丽世界。同时，在拍摄过程中可能出现“镜头光晕”现象。我们可以轻松判断光晕后的场景，但对计算机却非常困难。

虽然已有许多去除光晕的算法，但去除光晕的算法本身也是一个开放领域。

另外，图像压缩时会降低像素或进行变换操作。普通人可以轻松识别压缩后的图片，但计算机若不被告知压缩操作，会误将压缩后的图像视为原始图像进行识别，从而产生错误。

小提示：在进行图像分析前，应先进行预处理（如去噪、去光晕、反压缩），以提高后续算法的稳定性。

常见问题

问：为什么图像压缩会导致机器识别错误？
答：压缩过程引入的量化失真、块效应、边缘模糊等，会改变像素的数值分布。机器训练时通常使用原始未压缩图像，因此压缩后的输入不属于训练分布，导致特征提取失效。解决办法是使用对抗训练或数据增强，将压缩图像纳入训练集。

4. 理解图像含义困难

最后也是最重要的一点，是对图像内容的理解。对于机器来说，这绝对是计算机视觉中最棘手的部分。我们观看图像时，会调用累积的学习和记忆（即先验知识）来分析它。

例如，我们知道可以坐在健身球上，而平底锅通常用在厨房里。如果天空中有一个看起来像平底锅的物体，很可能不是平底锅（除非被扔上天），因此我们会进一步检查，确定它可能是飞盘。或者，如果有人围着绿球踢球，那很可能是小孩子的球而非健身球。

但机器没有这种知识。它们不了解我们的世界，不了解其中的复杂性，也不了解我们在数千年进化中创造的众多工具、商品、设备等。也许有一天机器能通过维基百科获取并理解对象信息，但目前还相去甚远。

有些人认为，机器永远无法完全理解我们现实世界——因为意识对它们来说始终遥不可及。但在未来的发展中，谁又能确定呢？

小提示：可利用大规模预训练模型（如CLIP）学习视觉与语言的对齐，让机器获得常识知识。但仍需注意，这些知识是统计性的，并非真正的理解。

常见问题

问：机器能否通过学习获得类似人类的先验知识？
答：目前机器学习模型可以通过大量标注数据学到统计意义上的“知识”，比如常见物体的位置、尺寸、功能等。但这些知识是僵化的，无法像人类一样灵活地进行因果推理或迁移。例如，模型知道平底锅通常在厨房，但不会因为它出现在天空就自动怀疑其身份。真正的常识推理仍是活跃的研究前沿。

结语

综上所述，计算机视觉之所以困难重重，核心在于：机器只能处理海量、有损、带噪的像素数字，却缺乏人类与生俱来的先验知识和推理能力。尽管深度学习带来了巨大突破，但上述四方面难题（数据量、信息丢失、噪声、理解）仍然是开放的研究领域。未来，随着新型传感器、更高效的模型以及跨模态学习的发展，我们或许能更接近“机器真正看懂世界”的目标。但无论如何，这条路依然漫长。