最近,洛桑联邦理工学院(EPFL)的一支研究团队取得了一项突破性进展——他们借助人工智能技术,从小鼠的大脑信号中成功解析并还原出了视频画面。这项研究成果直接发表在《自然》杂志上,但出乎意料的是,它在网络上引发了大量网友的质疑与调侃。
先来聊聊这个实验有多神奇。研究人员给老鼠播放了一段上世纪60年代的黑白老电影:画面中一名男子跑向汽车,随后打开后备箱。老鼠观影结束后,AI通过分析其脑部数据,竟然将这段画面完整重构了出来,还原度几乎与原始影片如出一辙。
这套方法的核心是一种名为CEBRA(发音与zebra相同)的全新机器学习算法。它仅需三步即可实现“大脑信号读取”:首先分析与解释行为或神经数据,接着解码来自视觉皮层的神经活动,最后重建出视频画面。研究团队在论文中宣称,其准确率超过了95%。
论文地址:https://www.nature.com/articles/s41586-023-06031-6
CEBRA的真正价值在于,它能够从视觉皮层中实现快速、高精度的视频解码。如果这项技术未来能成功应用于人类大脑,其意义将极为深远——当然,网友们的反应也相当有趣,有人调侃道:各地的“思想犯罪”指数恐怕要飙升了。
CEBRA,从小鼠大脑信号中预测电影画面
其实,“AI读脑术”在学界并不算新鲜事。此前CVPR 2023上就有一篇论文提到,Stable Diffusion能够重建人类大脑的视觉信号——AI只需看一眼人脑信号,就能立刻生成对应的画面。而这次的研究更进一步:CEBRA不仅能捕捉大脑的动态变化并准确重构画面,还能预测老鼠即将看到的影像内容。
不仅如此,这套算法还能预测灵长类动物手臂的运动轨迹,甚至能重建老鼠在场地中自由奔跑时的位置信息。简单来说,它学会了神经代码中隐藏的结构模式。
这个过程是如何实现的?CEBRA基于对比学习,提供了三种工作模式:假设驱动模式、发现驱动模式以及混合模式。它能够将高维数据压缩到一个低维空间(即隐空间),使得相似的数据点彼此靠近,差异大的数据点相互远离。这种嵌入方式可用于推断数据中的隐藏关系与结构,同时结合行为标签(例如运动、奖励、图像颜色或纹理)进行深入分析。
老鼠「读脑术」实验细节
具体实验是如何进行的?研究团队召集了50只老鼠,让它们一同观看一段30秒的电影片段,并重复播放了9次。在观影过程中,研究人员直接将探针插入老鼠的视觉皮层,以收集神经元的活动信号——这正是经典的脑机接口(BMI)操作。
探针分为两种类型:一种是插入视觉皮层的电极探针,直接测量电信号;另一种是光学探针,用于基因改造过的老鼠身上,激活的神经元会发出绿光。随后,研究人员利用CEBRA将这些神经信号与600帧电影片段建立关联,形成映射关系。
在经过9次观影的“记忆巩固”过程后,研究人员让老鼠观看第10次,同时记录其大脑活动数据。接着,他们使用CEBRA来预测电影片段的画面顺序。结果令人震惊:CEBRA能在1秒内以95%的准确率预测出下一个画面。
人类大脑,终极目标
将行为动作映射到神经活动,一直是神经科学的基本目标。但此前缺乏能够灵活利用联合行为和神经数据来揭示神经动力学非线性特征的技术。CEBRA的诞生填补了这一空白。
它不仅可用于空间映射、揭示复杂的运动学特征,还能对来自视觉皮层的自然视频进行快速高精度的解码。具体而言,研究团队提出了一个联合训练的潜在嵌入框架,利用用户定义的标签或仅限时间的标签,获得一致的神经活动嵌入,用于可视化数据和解码等下游任务。
这套算法基于对比学习——通过相互对比的样本(正样本和负样本)来寻找共同属性与区分属性。

使用CEBRA实现一致且可解释的嵌入
CEBRA的优势首先体现在其灵活性,以及在有限假设和检验假设方面的能力。例如,对于海马体,可以假设这些神经元代表空间位置,那么行为标签就可以是位置或速度(图2a)。当然,也可以提出替代假设:海马体不映射空间,而是映射行进方向或其他特征。

使用CEBRA的假设和发现驱动分析
论文第一作者Steffen Schneider表示,与其他算法相比,CEBRA在重建合成数据方面表现优异——这对算法比较至关重要。它的另一个优势是能够跨不同模式组合数据,比如电影特征和大脑数据,这也有助于限制由数据收集方式带来的细微差异。

从小鼠视觉皮层区域解码自然视频特征
EPFL的Bertarelli综合神经科学主席兼这项研究的负责人Mackenzie Mathis说:“这项工作朝着神经技术实现高性能BMI所需的理论支持算法,又迈出了一步。” 研究者指出,CEBRA在仅使用视觉皮层不到1%的神经元时表现良好——要知道老鼠的大脑大约有50万个神经元。
CEBRA的最终目标,是揭示复杂系统中的结构。而大脑,恰恰是我们宇宙中最复杂的结构,因此它成为了CEBRA的终极测试空间。这项技术还能帮助我们理解大脑处理信息的方式,并通过整合动物甚至其他物种的数据,为发现神经科学的新原理提供平台。
当然,CEBRA并不仅限于神经科学研究。它还可以应用于任何包含时间或联合信息的数据集,比如动物行为数据和基因表达数据。因此,它潜在的临床应用前景相当令人兴奋。
网友质疑:这能叫读心术?
不过,很多网友并不买账。有人指出,AI重现大脑画面的研究并非首次。早在2011年,加州大学伯克利分校就曾利用功能性磁共振成像(fMRI)和计算模型初步重建了大脑的“动态视觉图像”——不过当时重建的画面几乎无法辨认。
而对于这次用老鼠大脑信号重构电影片段的研究,网友的质疑主要集中在一点上:“我并非想贬低这项出色的工作,但这不是从老鼠看到的东西中创造视频,而是匹配哪一帧视频最符合模型解释当前帧的内容。所以……它并不是产生视频数据,而是一个帧号,然后在屏幕上显示该帧。这个区别很微妙,但很重要。”
另一位同样看过视频的网友说得更直接:“这个视频有点误导人。它并不像你看到所有这些扩散模型后所想的那样,完全从头开始构建。这个特定的模型只看过这个视频,并且只是将不同的帧映射到脑信号上。所以这并非是读心术。”
还有人总结道:“这个说法是不准确的,并没有视频被生成。它只是在充分了解视频的情况下,预测了正在观看的视频的时间戳。”
