视觉脑机接口的终极目标，其实可以浓缩为一句话：从“单向理解”迈向“双向交互”。既要能精准读懂大脑在想什么——从神经活动中重建视觉信息；也要能把视觉信息高效“写入”大脑皮层。而且最关键的是，这两个方向必须实现双向一致，不能各自为政、逻辑割裂。

近日，来自上海人工智能实验室、香港大学、香港中文大学等机构的研究团队，带来了一项突破性成果：首个基于统一神经流模型的视觉-神经双向建模框架——NeuroFlow。该项研究已被CVPR 2026收录。其核心创新在于，首次将视觉编码（写入大脑）和解码（读取大脑）整合进同一个可逆流结构中，真正打通了视觉感知与神经活动之间的双向通路。这意味着，构建下一代通用视觉假体和双向脑机接口，有了全新的技术根基。

• 论文标题：NeuroFlow: Toward Unified Visual Encoding and Decoding from Neural Activity

• 论文地址：https://arxiv.org/abs/2604.09817

• 主页地址：https://michaelmaiii.github.io/NeuroFlow-S

论文第一作者为香港大学博士生麦伟健，相关工作是在上海人工智能实验室科研实习期间完成。共同通讯作者为伍佳敏、Andrew F. Luo和宋纯锋。

视觉神经建模困境：从“割裂单向”到“统一双向”的范式转变需求

在人类视觉感知系统中，外界视觉刺激能够激活大脑产生神经响应（编码），反过来，神经响应也可用于重建出对应的感知内容（解码），二者本质上是互补的两条通路。但长期以来，视觉神经建模始终面临一个难以逾越的瓶颈：

第一，编码与解码长期割裂。这两类任务各自独立运作，模型分开训练，潜空间各不相同，缺乏有效交互，自然无法实现双向一致性。

第二，双向跨模态对齐困难。现有方法大多在简单的线性映射或扩散范式下做单向连接，很难真正实现视觉与神经模态之间的双向对齐。

第三，神经模式解释性不足。生成的神经信号常陷入体素级的噪声中，与大脑真实的皮层激活模式存在偏差，缺乏生物学层面的可解释性。

这种“单向割裂”的范式，不仅限制了对视觉神经机制的深层理解，也让双向脑机技术的发展遇到了天花板。

统一建模突破：NeuroFlow构建视觉-神经可逆映射新架构

为了破局，NeuroFlow首次在单一模型中实现了视觉编码和神经解码的统一建模。简单来说，就是用一套架构搞定双向任务。核心创新包含两大模块：

1. NeuroVAE：概率变分主干

人类神经响应天然具有一对多的随机特性——大脑在感知同一视觉刺激时，由于生理噪声、脑状态波动、采集试次差异等因素，每次记录的fMRI脑活动分布都不尽相同。针对这种变异性，NeuroVAE引入了变分概率建模范式，不再将脑信号硬映射成固定特征，而是输出概率分布表征。高维杂乱的原始fMRI体素数据被压缩成维度紧凑、语义结构化的统一隐空间。这样一来，模型在保留关键神经信息的同时，有效过滤了冗余噪声。再结合对比学习和循环一致性约束，神经表征与视觉语义之间实现了深度对齐，为跨模态统一建模奠定了坚实基础。

2. XFM：跨模态流匹配

当前主流的跨模态生成方案，大多采用条件扩散范式——依靠单模态信息作为引导，从纯高斯噪声迭代生成另一模态的数据。这种方法的训练和推理逻辑单向固化，很难自然实现正向与反向的双向转换。XFM跨模态流匹配方法跳出了这一框架。它直接基于常微分方程的连续演化思想，在共享隐空间中学习视觉表征分布与NeuroVAE神经表征分布之间连续可逆的变换流场。无需条件引导，就能直接构建从源分布平滑过渡到目标分布的完整演化路径。

模型定义了一个随时间从0到1变化的矢量场，采用余弦插值构建平滑过渡轨迹。其中，正向演化对应编码任务——时间从0到1，视觉特征沿着流场连续变换，生成对应的神经表征，再通过NeuroVAE生成真实的神经信号；反向演化对应解码任务——时间从1到0，逆向求解ODE，从神经表征回溯还原出原始视觉特征，再通过视觉生成器从脑信号中重建图像。整个过程仅靠时间方向来区分，从机理上保证了编码与解码的强语义一致性。这一设计让视觉和神经在共享潜空间中形成稳定、可逆、可解释的映射关系，实现了真正意义上的双向互通。

实验亮点与结果：全面领先，信号真实，一致性突出

研究团队在大规模自然场景fMRI数据集（NSD）上进行了全面验证。与MindEye2、BrainDiffuser、SynBrain等主流模型相比，NeuroFlow展现出了全方位的优势：

• 视觉解码性能：从神经信号重建出的图像，与原视觉刺激的语义、轮廓一致性更高，性能超越了现有视觉解码基线。
• 编码-解码一致性：图像到神经、再到重建图像的双向一致性非常稳定。
• 神经信号真实性：合成的神经信号能抑制早期视觉区的跨试次随机噪声，更聚焦于FFA（脸部）、EBA（身体）、PPA（场景）等高级语义功能区，与真实视觉皮层的激活模式高度吻合。
• 高效轻量性：无需预训练，仅用当前最优解码模型25%的训练参数，就能在编码和解码任务上均达到更优性能。训练高效，易于部署和拓展。

这些实验表明，NeuroFlow不仅性能领先，还能生成大脑可理解、语义可对齐、生理可解释的神经表征，为视觉认知研究提供了可信赖的工具。

可解释性分析：拆解双向建模的关键内在机制

研究团队还通过多维度可视化实验，从模块消融、流演化轨迹、脑功能特征三个角度，进一步剖析了模型的内部机理：

• 消融实验：逐项移除关键损失和模块后，图像重建的保真度和语义完整性明显下降。这说明各项约束和XFM流结构是实现高质量跨模态重建的必要条件。
• 流采样轨迹：编码演化过程中，模型会自发抑制早期初级视觉区的噪声响应，表征逐步向FFA、EBA等高级功能脑区收敛；解码则从初始的轮廓草图平滑地迭代成高清完整图像，这与扩散模型从纯噪声起步的生成逻辑截然不同，直观体现了流匹配的演化规律。
• 类别激活对比：选取人脸类视觉刺激，对照实测fMRI激活和模型合成的神经激活图谱，模型生成的激活区位置、强弱分布与人脑的真实响应高度匹配。这表明框架能够精准复现特定语义类别对应的脑区激活模式。
• 量化验证：在NSD测试集上，结合方差解释度和斯皮尔曼相关系数进行全脑量化分析，结果显示模型在FFA、EBA、PPA等高级视觉功能脑区表现出更高的解释度和相关系数。换句话说，NeuroFlow在建模时更侧重于学习人脑高级语义加工相关的神经活动。

这些实验进一步证明，NeuroFlow架构在保证高精度图像重建的同时，生成的神经表征贴合人脑视觉加工的生理规律，从机理上验证了视觉与神经双向映射的科学性。

价值与展望：开启视觉-神经双向交互新时代

NeuroFlow的意义不止于模型性能的提升，更在于它为脑科学与AI的交叉领域打开了一些全新的可能性：

• 认知研究层面：它提供了一个可计算、可验证的视觉神经建模工具，有助于揭示人类视觉感知、语义加工和高级认知的底层机理。
• 脑机接口层面：构建了稳定、高效、可逆的视觉-神经双向通道，为视觉假体和双向脑机接口等前沿方向提供了核心算法底座。
• 技术范式层面：证明了一个单一的统一模型完全可以胜任双向跨模态任务，为多模态神经建模提供了一种可复用的设计思路。

未来，NeuroFlow将进一步走向更通用、更鲁棒、更贴近真实大脑机制的视觉-神经建模体系。这不仅能加速脑科学与人工智能的深度融合，也让双向脑机接口从实验室走向现实应用，变得更有希望。