“现在Stable Diffusion已经能重建大脑视觉信号了！”——这项来自日本大阪大学、被CVPR 2023收录的研究，让“AI读脑术”从科幻走向现实。本教程将带您一步步理解：AI如何通过fMRI扫描大脑信号，并用Stable Diffusion还原出我们看到的图像。

一、研究背景与核心挑战

长期以来，从人类大脑活动中重建视觉信号——生成具有真实感的图像——是脑科学和AI领域的巨大挑战。以往的研究，如UC伯克利的尝试，虽然能捕捉到大脑对飞机等对象的反应，但重建的图像几乎看不出物体特征：

△ 图源UC伯克利研究：从大脑信号重建的飞机片段效果模糊

本研究的突破点在于：利用潜在扩散模型（LDM，即Stable Diffusion），以极简的线性映射实现高保真度重建。

二、核心技术：Stable Diffusion如何“读懂”大脑

2.1 整体框架

系统仅由三个组件构成（示意图如下）：

• 图像编码器 ε：将图像压缩为潜在表征 z
• 图像解码器 D：将潜在表征还原为图像
• 语义解码器 τ：文本编码器（CLIP）提取语义信息 c

2.2 核心流程：两步解码 + 一步编码分析

第一步：解码大脑信号

• 从早期视觉皮层（蓝色区域）的fMRI信号中解码出图像潜在表征 z
• 从较高视觉皮层（黄色区域）的fMRI信号中解码出文本潜在表征 c
• 将两者合并，得到最终图像 Xzc

第二步：编码分析（理解AI内部过程）

• 构建一个编码模型，分别预测z、c、zc对应的fMRI信号
• 结果显示，zc（交叉注意后的潜在表征）在大脑后部视觉皮层的预测精度最高

第三步：生成图像——以zc为条件进行去噪扩散，最终输出高保真、高分辨率的还原图像：