光谱成像技术正在从实验室走向消费级市场，但传统方案在速度、体积和成本上存在瓶颈。近日，清华大学黄翊东、崔开宇团队在《Chip》期刊上发表了一项创新研究，提出将深度展开神经网络ADMM-net与基于自由形状的超构表面光谱成像芯片相结合，实现了高空间分辨率的片上快速光谱成像，并成功消除了光谱图像的马赛克现象。本文第一作者为杨家伟，通讯作者为崔开宇和黄翊东。《Chip》是全球唯一聚焦芯片类研究的综合性国际期刊，入选了国家高起点新刊计划的“三类高质量论文”期刊之一。

一、光谱成像的背景与现有挑战

光谱成像扩展了传统彩色（RGB）相机的概念，能够在多个光谱通道捕获图像，广泛应用于遥感、精准农业、生物医学、环境监测和天文学等领域。然而，传统的基于扫描方式的光谱相机存在三大痛点：

• 采集速度慢：逐点扫描需要大量时间。
• 体积大、成本高：依赖复杂的光学元件和精密机械。
• 难以便携：限制了在消费级产品中的应用。

基于超构表面（Metasurface）的宽带调制和计算光谱重建的片上光谱成像，为消费级便携式光谱相机提供了一种很有前景的方案。下图展示了超构表面光谱成像芯片的基本结构：

图1 超构表面光谱成像芯片的结构示意图

芯片由硅基超构表面层和带有微透镜的CMOS图像传感器组成。超构表面层包含 360 × 440 个超构表面单元，每个单元对应于成像空间中的一点。入射光经过每个超构表面单元的频谱调制后，被下方的传感器像素探测。任一点处的光谱可以由该点附近的若干个光强探测值重建得到，重建过程对应于求解一个欠定线性方程组。

现有的光谱图像重建算法存在两大问题：

• 计算耗时长：需要通过逐点光谱重建来得到整个数据立方。
• 马赛克现象：重建图像出现方格状伪影，影响质量。

二、技术核心：深度展开神经网络ADMM-net

由于不同的超构表面单元具有不同的光谱调制特性，整个超构表面光谱成像芯片在不同波长下具有不同的空间调制特性。研究团队受启发于编码孔径快照式光谱成像算法，提出采用深度展开神经网络ADMM-net进行光谱图像的快速重建。

ADMM-net的基本架构如下图所示：

图2 深度展开神经网络ADMM-net的基本架构

网络包含 K=12 个阶段，每个阶段都包含两部分：

• 线性变换 W(·)：负责数学上的投影和更新。
• 降噪卷积神经网络：通常采用U-net结构，用于去除噪声并增强细节。

网络的输入为：

• 传感矩阵 Φ：包含所有超构表面单元的光谱调制特性。
• 测量图像 y：芯片实际采集到的原始数据。

输出为重建的光谱图像数据立方（即每个像素点对应一条连续光谱的三维数据）。