本教程将带你深入了解一项前沿研究：如何利用Stable Diffusion模型，从人类大脑的fMRI信号中重建出高保真的视觉图像。我们将逐步解析这项技术的原理、框架和实际效果。
导读
“现在Stable Diffusion已经能重建大脑视觉信号了！”
一个听起来细思极恐的“AI读脑术”研究，在网上掀起轩然大波：
这项研究声称，只需用fMRI（功能磁共振成像技术，相比sMRI更关注功能性信息，如脑皮层激活情况等）扫描大脑特定部位获取信号，AI就能重建出我们看到的图像！
例如这是一系列人眼看到的图像，包括戴着蝴蝶结的小熊、飞机和白色钟楼：
AI看了眼人脑信号后，立马就给出这样的结果，属实把该抓的重点全都抓住了：
再发展一步，这不就约等于哈利波特里的读心术了吗？？
更有网友感到惊叹：如果说ChatGPT开放API是件大事，那这简直称得上疯狂。
研究背景与挑战
这项研究来自日本大阪大学，目前已经被CVPR 2023收录：
研究希望能从人类大脑活动中，重建高保真的真实感图像，来理解大脑、并解读计算机视觉模型和人类视觉系统之间的联系。
要知道，此前虽然有不少脑机接口研究，致力于从人类大脑活动中读取并重建信号，如意念打字等。然而，从人类大脑活动中重建视觉信号——具有真实感的图像，仍然挑战极大。
例如这是此前UC伯克利做过的一项类似研究，复现一张人眼看到的飞机片段，但计算机重建出来的图像却几乎看不出飞机的特征：
△ 图源UC伯克利研究 Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies
技术方案概览：基于Stable Diffusion的视觉重建
这次，研究人员重建信号选用的AI模型，是这一年多在图像生成领域地位飞升的扩散模型。更准确地说是基于潜在扩散模型（LDM）——Stable Diffusion。
整体研究的思路，则是基于Stable Diffusion，打造一种以人脑活动信号为条件的去噪过程的可视化技术。它不需要在复杂的深度学习模型上进行训练或做精细的微调，只需要做好fMRI成像到Stable Diffusion中潜在表征的简单线性映射关系就行。
它的概览框架非常简单：仅由1个图像编码器、1个图像解码器，外加1个语义解码器组成。
核心方法详解
1. 模型整体结构（LDM）
如下图所示，第一部分为本研究用到的LDM示意图。其中ε代表图像编码器，D代表图像解码器，而τ是一个文本编码器（CLIP）。
2. 解码分析：从fMRI信号到图像
重点是解码分析，如下图所示，模型依次从大脑早期（蓝色）和较高（黄色）视觉皮层内的fMRI信号中，解码出重建图像（z）和相关文本c的潜在表征。然后将这些潜在表征当作输入，就可以得到模型最终复现出来的图像Xzc。
3. 编码分析：理解模型内部过程
最后，作者还构建了一个编码模型，用来预测LDM不同组件（包括图像z、文本c和zc）所对应的fMRI信号，它可以用来理解Stable Diffusion的内部过程。
可以看到，采用了zc（与c进行交叉注意的反向扩散后，z再添加噪声的潜在表征）的编码模型在大脑后部视觉皮层产生的预测精确度是最高的。
相比其它两者，它生成的图像既具有高语义保真度，分辨率也很高。
相关讨论与质疑
看完这项研究，已经有网友想到了细思极恐的东西：这个AI虽然只是复制了“眼睛”所看到的东西，但是否会有一天，AI能直接从人脑的思维、甚至是记忆中重建出图像或文字？
“语言的用处不再存在了”
于是有网友进一步想到，如果能读取记忆的话，那么目击证人的证词似乎也会变得更可靠了：
还别说，就在去年真有一项研究基于GAN，通过fMRI收集到的大脑信号重建看到的人脸图像：
不过，重建出来的效果似乎不怎么样……
显然，在人脸这种比较精细的图像生成上，AI“读脑术”还有很长一段路要走。
对于这种大脑信号重建的研究，也有网友提出了质疑。例如，是否只是AI从训练数据集中提取出了相似的数据？
对此有网友回复表示，论文中的训练数据集和测试集是分开的：
作者们也在项目主页中表示，代码很快会开源。可以先期待一下~
作者介绍
本研究仅两位作者。
- Yu Takagi：2021年成为大阪大学助理教授，主要从事计算神经科学和人工智能的交叉研究。最近同时在牛津大学人脑活动中心和东京大学心理学系利用机器学习技术，研究复杂决策任务中的动态计算。
- Shinji Nishimoto：大阪大学教授，日本脑信息通信融合研究中心首席研究员。研究方向为定量理解大脑中的视觉和认知处理，谷歌学术引用3000+次。
常见问题与解答
- Q: 这项技术是否意味着AI能直接读取人的思维？
A: 目前还只能重建人眼看到的视觉信号，而且需要依赖fMRI扫描大脑特定区域的信号。对于纯粹想象的图像或记忆，尚未有成熟技术。研究尚处于早期阶段，距离“读心术”还有很大距离。 - Q: 重建的图像是否只是从训练集中“抄袭”出来的？
A: 论文中明确将训练数据集和测试数据集分开，重建测试图片时模型从未见过那些图片。虽然重建结果可能和训练集内某些图像相似，但确实是基于大脑信号的泛化能力。 - Q: 为什么选择Stable Diffusion而不是其他模型？
A: 扩散模型（尤其是潜在扩散模型LDM）在图像生成方面具有高保真度和可控性。它的潜在空间非常适合映射fMRI信号，无需复杂训练，只需简单的线性映射即可。 - Q: 这项技术未来的应用场景是什么？
A: 可能用于脑机接口、神经康复、视觉认知研究等领域。例如帮助瘫痪病人表达视觉想法，或作为研究大脑视觉处理机制的工具。
小提示
- ⚠️ 注意：fMRI信号采集需要专业设备，且受试者必须保持不动，目前不适用于日常场景。