先说几个核心判断:最近,美国俄勒冈州立大学搞出来一个很有意思的新东西——一种新型成像传感器。它不只能探测光线、存储图像,最关键的是,还能按需“遗忘”信息。这听起来是不是有点反常识?
具体是怎么实现的呢?研究团队从人脑的突触机制中获得灵感,利用有机层来捕获光生空xue,然后通过电压来调节记忆时长。正电压会加速遗忘,负电压则能把记忆延长到小时级别。这意味着,同一个硬件可以通过调节记忆时长,来适配不同的视觉任务。
更关键的是,它能在传感器端直接完成一部分基础计算,从源头减少数据搬运。能做到这一点,核心在于它的设计——有机吸光层和氧化铟镓锌(IGZO)晶体管组合在一起,实现了光吸收(有机层)与电荷输运(IGZO 沟道)的功能分离。这样一来,就省去了“传感器-内存-处理器”之间频繁的数据传输,有望大幅降低机器人视觉的能耗。
这种新型传感器可以通过光电协同调制,灵活编程自己的学习、记忆和遗忘行为,为未来提升机器人、无人机以及边缘 AI 设备的视觉系统效率,打下了不错的基础。相关论文已经发表在 Advanced Functional Materials 上 [1]。

图丨相关论文(来源:Advanced Functional Materials)
咱们得先看看现在的数码相机是怎么工作的。目前,数码相机依赖互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD),把光子转换成电子。但问题是,这些器件本身没法存储图像,数据得先传输到内存里,才能进一步处理。
“传统的相机传感器在捕捉图像后,除非把信息传输到单独的存储组件,否则会立刻忘记图像内容。”俄勒冈州立大学的 Larry Cheng 助理教授解释说,“我们的设备可以识别并记住图像,而且更重要的是,它还能逐渐遗忘图像。这种逐渐遗忘的特性,是这套设备一个关键且重要的组成部分。”

(来源:https://engineering.oregonstate.edu/people/larry-che
回过头来看,在传统的冯·诺依曼计算架构里,存储和处理单元是分开的,这导致了数据频繁搬运,也就是所谓的“存储墙”瓶颈,限制了速度和能效。
研究团队从人脑的运作方式中获得灵感,开发了这种新型装置。晶体管中的电荷就像神经递质多巴胺一样,能增强突触(神经元之间的连接)之间的连通性,从而增强人们所保留的记忆。
这个新型传感器,和传统相机在信息处理方式上,有非常显著的区别:传统方案得靠 AI 识别算法来理解世界,而新方案则是利用硬件自身的短时记忆,直接记录环境变化。
具体来说,典型的 AI 图像识别算法会逐帧分析捕获的视频流,来检测运动物体;而新型传感器则存储了近期照射到设备上的光强度变化历史。通过这种方式,光电晶体管能突出环境中的变化信息,并保留其时间演化过程。更关键的是,它记住这些变化的时间,可以根据具体需求来调整。
物体运动的速度和传感器需要“记住”它的时间,呈现一种规律性的变化:物体运动越快,传感器需要记住它的时间越短;物体动得越慢,需要记住的时间则越长。举个例子,对于时速 250 公里的无人机,只需要记录瞬间的运动轨迹就够了;但对于用来识别可疑徘徊者的门铃摄像头,则需要保存更长时间的光强变化序列。

(来源:俄勒冈州立大学)
这种新方法的关键突破在于,通过可调节的记忆时长,让单个传感器能实现多样的任务——从高速目标跟踪到慢速行为监控,都能覆盖,并且在这个过程中同时优化响应速度和能耗表现。
研究人员在实验中验证了器件的性能,尤其是低功耗方面的优势。这个器件在低于 5μW·cm⁻² 的光强条件下就能正常工作,还能支持 0.5μW·cm⁻² 的弱光有效成像,比此前同类有机器件低了两个数量级以上。
Larry Cheng 补充说:“商用相机需要不断地在传感器、存储设备和处理器之间传输数据,所以运行图像识别算法相对非常耗能。直接在传感器上进行这种基础处理的能力,有望大幅降低能耗需求。”

(来源:Advanced Functional Materials)
研究人员制造的原型设备是一个 4×4 像素的阵列,大小和 U 盘差不多。阵列顶部涂覆了一层透明的有机吸光层,能把入射光转化为电荷。当光子照射到光敏层时,会产生电子和空xue。电子会转移到下方的晶体管沟道中(沟道由 IGZO 制成),而空xue则构成了器件存储功能的基础。
之所以选择 IGZO 晶体管,是因为它对可见光透明,这意味着晶体管不会吸收光,电信号传输和光敏功能得以分离。IGZO 材料适用于大面积制造,在显示技术领域应用广泛,而且由于电荷在其内部传输速度快,用它制成的晶体管漏电流极低。这两种材料的结合,使得每个像素能在单个器件内,同时检测光线并存储最近一次光照的信息。
Larry Cheng 指出,由于光敏层中的能垒,空xue会被困在孤立的有机半导体聚集体中。即使光照关闭后,这些被困的空xue仍然会通过静电作用,持续调制晶体管沟道,从而实现器件保留最近光照信息的效果。
电荷量会逐渐衰减,但研究人员可以通过对光敏层施加电压来改变其持续时间。原因在于,正电压会把捕获的空xue推离晶体管沟道更远,从而降低其作用并加速衰减,导致记忆快速遗忘;而负电压则会把空xue拉近晶体管沟道,减缓衰减过程。通过这种干预,器件可以将记忆保持数小时甚至更长时间。
实验数据显示,在 -0.5V 的栅压下,光照后的电导可以保持 5,000 秒以上。这种极性可控的切换,在单一器件内实现了增强、保持、抑制三种状态的编程。

(来源:Advanced Functional Materials)
实验验证
为了验证新型器件的实际计算能力,研究团队将器件的特性参数导入了一个人工神经网络模型,对手写数字数据集 MNIST 进行分类训练。结果显示,该器件模拟的突触权重更新线性度表现不错。在数百次训练周期后,无噪声高分辨率条件下,分类准确率达到了 90% 以上,并且对硬件中常见的参数波动表现出良好的容错度。
研究展望
当然,目前这项研究还处于器件验证阶段,必须得承认,它距离完整替代现有的 CMOS 成像系统,还有一段路要走。在未来的研究阶段,他们计划把这项技术扩展到更大的像素阵列,并开发集成成像原型,进一步探索和验证实时成像和传感器端的处理能力。
参考资料:
1.https://doi.org/10.1002/adfm.75942
2.https://spectrum.ieee.org/hybrid-phototransistor
3.https://news.oregonstate.edu/news/new-digital-memory-device-inspired-human-brain-may-improve-ai%E2%80%99s-energy-efficiency
