黑暗中的导航：触觉与视觉如何协同工作

在完全无光的环境里，单纯依赖视觉远远不够——此时触觉成为主要的感知方式。值得注意的是，神经系统对“用力触摸”的反应更为强烈，能够帮助你获取更多关于物体或障碍物的信息；而轻轻触碰则可能无法激活足够的神经反馈。然而用力过猛也会带来风险：不仅可能损坏艺术品，万一接触到危险物体，还可能伤害到自己。在这种情况下，哪怕只有一瞬间的闪光，都能显著提升移动的成功率。为什么呢？因为视觉记忆能够辅助触觉反应，两者协同完成导航任务。如果大脑的视觉皮层和触觉皮层只处理各自单一模态的信号，这种配合根本不可能实现。因此，跨模态线索的整合是大脑功能的一项基本特性。

每种感觉在不同情境下各有所长，但一旦联合起来，探测和识别物体或事件的概率就会大幅提升。传统观点认为，大脑中专门负责视觉、听觉、躯体感觉、味觉和嗅觉的皮层分别处理单模态输入，而跨模态整合则交由更高级的皮层区域完成。不过，近年来的研究表明，多感觉整合完全可以发生在初级感觉区域——那里存在特化的神经元，能够接收来自两种甚至更多感觉模式的汇聚输入。例如：在训练有素的猴子身上，初级躯体感觉皮层（S1）的神经元不仅对触觉信号有反应，还能对视觉和听觉刺激做出响应；同样，听觉皮层（A1）中的神经元也会同时响应听觉和躯体感觉线索。多感觉整合的最大优势在于“超加性”——多感觉反应不仅超过单感觉反应，甚至超过了它们的算术总和。

多感觉整合还有另一个重要特征：多感觉增强的幅度通常与单个线索的强度成反比。这被称为“反效果效应”，原理其实很直观——如果某条单模态刺激已经足够强烈，对应的单感觉神经元就会被强烈激活，信号很容易被检测到。在这种情况下，增加另一条模态带来的增益并不大；相反，当单个刺激引起的反应最弱时，多感觉放大作用最为显著。换句话说，在最需要帮助的时候，多感觉整合最能发挥作用。最后，多感觉整合还强调“时间一致性”——只有当不同感觉输入引发的神经活动高峰期重合时，整合反应才会达到最大值。自然界中这样的例子比比皆是：海豚将回声定位获得的听觉信息与视觉系统结合起来，全面感知周围物体的距离与形状；蜜蜂则通过著名的“摇摆舞”向同伴传递食物源位置——舞蹈中的视觉线索（摇摆角度和时长）与花蜜带来的气味线索相结合，清晰传递距离和方向信息。神经科学（尤其是认知和行为领域）对多感觉整合已经进行了大量研究，但机器人、人工智能和神经形态计算领域却尚未充分运用这一“杀手锏”。

最近，宾夕法尼亚大学的Saptarshi Das教授团队带来了一项新突破：他们基于光敏单层MoS₂忆阻晶体管和摩擦静电触觉传感器，构建了一个人工视觉触觉神经元。这个神经元能够准确捕捉多感觉整合的三个核心特征——超加性响应、反效果效应和时间一致性。他们还设计了一套电路，能够将视觉和触觉信息编码成数字尖峰事件，尖峰出现的概率由视觉和触觉线索的强度共同决定。相关论文以“A bio-inspired visuotactile neuron for multisensory integration”为题发表在《Nature Communications》上。

多感觉整合示意图

多感觉神经元视觉积分中的逆效应与超加性响应观察

单感觉与多感觉整合的对比及时间一致性验证

总体而言，这项对生物启发的多感觉视觉触觉神经元与尖峰编码电路的全面展示，将有力推动神经形态计算的发展——要知道，该领域目前主要聚焦于单感觉智能和信息处理。而它的应用前景远不止于此：国防、太空探索以及众多机器人、人工智能系统都能从中获益。更进一步看，多感觉融合的原理完全可以超越视觉信息处理，推广到听觉、嗅觉、热感、味觉等其他刺激模态。这才是真正令人兴奋的地方。