计算机视觉是否将迎来又一次自我革新？

针对这一问题，匹兹堡大学眼科教授、卡内基梅隆大学机器人研究所兼任教授Ryad Benosman给出了明确的判断。作为基于事件的视觉技术的奠基人之一，他认为：神经形态视觉——即以事件驱动相机为核心的计算机视觉——将是未来的演进方向。

“计算机视觉领域已经历了多次重大变革，”他表示，“我亲眼见证了至少两次从底层到顶层的彻底重塑。”

他提到的第一次变革发生在1990年代，从带有摄影测量色彩的传统图像处理，转向基于几何模型的方法；第二次变革则是当前由机器学习驱动的快速发展。然而无论怎么演变，今天的计算机视觉技术依然根植于图像传感器——那些能生成与人眼所见画面相似的相机。

问题恰恰出在这里。Benosman认为，一旦图像感知的范式不再有效，它反而会抑制替代性技术的创新。更糟糕的是，GPU这类高性能处理器的出现，仿佛在给这套旧系统“续命”，使得寻找全新解决方案的需求被一再推迟。

“一个价值百万美元的问题：我们为什么一定要依靠图像来做计算机视觉？”他反问道，“根本没有非此不可的理由，纯粹是历史惯性在作祟。早在相机诞生之前，图像就已经是一个无法绕开的概念了。”

图像相机的局限

图像相机的历史可追溯至公元前五世纪的针孔相机。到了16世纪，艺术家们甚至建造出房间大小的设备，用来在画布上临摹窗外的人物或风景。随后，画布被胶片取代，胶片又升级为数码照片。图像相机就这样顺理成章地成为了现代计算机视觉的基石。

但Benosman认为，这套系统效率极为低下。他打了个比方：想象一座中世纪城堡，卫兵们站在城墙上四处眺望，搜寻靠近的敌人。鼓手有节奏地敲鼓，每敲一下，每个卫兵都要大声喊出自己观察到的情形。在一片嘈杂的喊叫声中，你能听清远处森林边缘那个发现敌人的声音吗？

21世纪的“鼓点”是电子时钟信号；而卫兵，正是像素。每个时钟周期都必须检查所有像素，产生的数据量惊人，其中绝大多数是冗余信息，白白浪费了计算资源。

“人们消耗了海量能量，整座城堡的计算能力都用来自我保护了，”Benosman说。当发现一个有趣的事件（在类比中就是敌人）时，“你还得四处搜集那些根本无用的信息，所有人都在尖叫，带宽大得离谱……想象一座极其复杂的城堡——所有声音都必须被听到。”

神经形态视觉的崛起

神经形态视觉的核心思路，源自生物系统的启发：不再持续分析整个场景，而是检测场景中的动态变化。回到城堡的类比，就是让卫兵保持沉默，直到看见感兴趣的目标，再出声报信。在电子版本中，这意味着每个像素可以自主判断，自己看到的究竟算不算“相关的东西”。

“像素可以自行决定该发送什么信息，而不是系统机械地采集所有数据。它们可以去寻找有意义的信息——也就是特征，”Benosman指出，“这就是本质区别。”

相比固定频率的系统，这种基于事件的方法能够节省大量电力，同时显著缩短延迟。

“我们需要的是更具适应性的方案，基于事件的视觉提供的正是这种自适应采集频率，”他说，“当你观察幅度变化时，如果某个物体快速移动，你会得到大量样本；如果场景根本没有变化，采集到的数据几乎为零。系统根据场景的动态来调整采集频率——这才是关键。也正是为什么这是一个优秀的设计。”

Benosman从2000年就开始投入神经形态视觉研究。他始终坚信，传统的计算机视觉永远无法真正“奏效”，因为图像本身就不是正确的路径。

“最大的突破，是承认可以在没有灰度、没有图像的情况下实现视觉——这在2000年，简直就是异端邪说，彻头彻尾的异端邪说，”他回忆道。

他提出的技术——也就是今天基于事件传感的基础——在当时引发了学术界的强烈反弹。投稿到当时最权威的IEEE计算机视觉期刊时，论文连审稿程序都没进入就被直接退回。直到2008年动态视觉传感器（DVS）问世，这项技术才算真正开始起步。

神经科学的灵感

神经形态技术，本质上是受生物系统启发而产生的技术。终极的“计算机”——大脑，及其计算单元“神经元”——问题在于，没人完全搞懂神经元到底是如何工作的。

我们知道，神经元会对传入的电信号（即“尖峰”）做出反应。但长期以来，研究人员对神经元的描述相当粗放，认为只有尖峰的数量是重要的。这一假设持续了几十年。直到近期的研究才证明，尖峰的时间才是绝对关键的——大脑的结构正利用这些尖峰的延迟来编码信息。

今天的脉冲神经网络，是对大脑中尖峰信号的模拟，但本质上仍是简化版：通常只是尖峰的二进制表示。“收到一个1，我醒来，我计算，我睡觉，”Benosman这样解释。现实要复杂得多：尖峰到来时，神经元会随时间对尖峰的值进行积分；神经元还具有“泄漏”特性，意味着结果是动态的。更不用说，大约有50种不同类型的神经元，各自拥有50种不同的积分模式。而今天的电子版本，基本缺少真实的积分动态、神经元之间的连接，以及多样化的权重和延迟。

“问题在于，要想做出一个可用的产品，你无法照搬所有复杂性——因为我们本来就不理解它，”他说，“如果我们真有一套完善的大脑理论，早就解决了——问题是我们知道得还不够。”

如今，Benosman运营着一个独特的实验室，专注于理解皮层计算背后的数学原理，目标是把新的数学模型复刻到硅设备上。其中一项工作，就是直接监测来自真实视网膜的尖峰。

对于目前的技术路线，他并不认同去忠实地复制生物神经元——在他看来，这种方法已经过时了。

“用硅来复制神经元这种想法，最初是因为人们观察晶体管，发现它有一个类似神经元的机制，所以一开始背后有点道理，”他说，“但我们现在用的是硅，没有细胞。我们需要适应计算的基底，而不是反着来……如果我知道自己在算什么，手头又有芯片，那我完全可以优化这个方程，用最低成本、最低功耗、最低延迟跑起来。”

处理能力的挑战

意识到没必要精确复制神经元，加上DVS相机的发展，共同构成了今天神经形态视觉系统的驱动力。虽然市面上已有相关产品，但距离能商业化的、完全类人视觉，还有相当长的路要走。

早期的DVS相机，像素又大又粗——因为光电二极管周围的电路大大降低了填充因子。虽然投资加速了技术进步，但Benosman也明确指出，今天的事件摄像机，本质上只是对2000年开发的那批原始研究设备的改良品。索尼、三星、Omnivision等厂商的最先进DVS摄像机，像素已经非常小，还融合了3D堆叠这类先进技术，降噪效果也更好。但他担心的是，目前传感器类型的规模化之路能否走得通。

“问题在于，一旦像素数量增加，数据量就会暴涨——因为你的速度仍然非常快，”他说，“也许你还能做到实时处理，但你会从太多像素中收到太多相对变化。这正在‘杀死’所有人——大家看到了潜力，却没有合适的处理器来支撑。”

通用的神经形态处理器，明显落后于DVS相机的发展。IBM Truenorth、英特尔Loihi这类大公司的产品，都还处于研发阶段。Benosman表示，正确的处理器和正确的传感器一旦结合，将是无与伦比的组合。

“今天的DVS传感器速度极快，带宽极低，动态范围很大，无论室内还是室外都能看清，”Benosman说，“这就是未来。它能起飞吗？毫无疑问！”

“谁能把处理器放上去，并提供完整的堆栈，谁就是赢家——因为那将是无与伦比的组合，”他补充道。