人工智能的浪潮已经席卷了图像识别、自然语言处理、人机对话等几乎所有技术领域,正在深刻改变着各行各业的格局。不过,在移动端大规模部署AI,一直有个“老大难”问题——人工神经网络的训练和运行,实在是太耗电了。如何降低AI能耗,已成为类脑计算和绿色AI研究的重要课题。

那么,有没有什么办法能让它“省着点花”呢?答案或许就藏在你我的大脑里。毕竟,大脑拥有超强的计算能力,而神经元之间靠着一种极其高效的方式——短促的电脉冲(也就是“尖峰”)——来传输信息,能耗极低。正是受此启发,奥地利格拉茨工业大学的研究人员 Wolfgang Maass 和 Robert Legenstein 带领团队,开发出了一种全新的机器学习算法,名叫 e-propagation,简称 e-prop。简单来说,这个算法能模仿人脑的学习模式,适应不断变化的需求,并且特别擅长“边学边用”,从而把能耗给省下来。这种基于生物启发的脉冲神经网络优化方法,为低功耗AI开辟了新路径。
相关成果已经发表在近期的《Nature Communications》上。
大脑的神经网络,比人工的更“省电”:类脑计算的启示
我们常常把大脑的神经网络和AI的深度神经网络放在一起比较,但它们的工作原理其实差别很大,核心就在于神经元怎么“说话”。
在深度神经网络里,信息是一层层同步传递的,就像部队按口令齐步走。每个神经元都连接到下一层的所有神经元,数据高度同步地在层间流动,计算预测值,然后和目标值对比,再计算误差,最后反向传播回去调整网络权重。这个“学习-反馈-调整”的过程要反复迭代很多次,直到网络能给出准确的预测。这种模式对算力和电力的需求极大,是AI能耗的主要来源之一。
但大脑是另一套玩法。生物神经元通过发射“尖峰”脉冲来交流,每个神经元都按照自己的节奏来,根本不用等别人。而且,大脑里的连接没有整齐的层级,充满了各种反馈回路——神经元的输出信号,最终很可能又会绕回来影响它自己。这听起来有点乱,但效率惊人。这种基于尖峰脉冲的通信方式,正是类脑计算和神经形态硬件追求的核心机制。
从能耗上看,差距就更明显了。训练一个最强大的AI模型,动辄需要几千瓦的电能,而咱们的大脑只消耗大约20瓦。这就是为什么人们对“类脑计算”和“神经形态硬件”(一种模仿大脑物理结构和原理的芯片)越来越感兴趣。低功耗AI的研发,迫切需要从生物神经网络中寻找灵感。
既然大脑的尖峰通信方式这么省电,那能不能把人工神经网络那套“反向传播”的想法,直接套用到大脑模型上呢?问题是,在大脑的神经网络里,让信号在时间和空间上通过突触“反向传播”回去,在生物上是几乎不可能实现的。因此,脉冲神经网络需要一种全新的学习规则。
新型机器学习算法:e-prop——面向脉冲神经网络的高效学习
为了解决这个矛盾,研究人员从实验神经科学的数据中找到了两个关键特征。第一个是,每个神经元都保留了一种“分子标记”,相当于对之前的活动有记忆,而且这种记忆会随时间慢慢消失;第二个是,大脑会利用像多巴胺这样的神经递质,提供自上而下的“学习信号”,来调节一群神经元的行为。
奥地利的团队巧妙地把这两种特性结合起来,创造出了e-prop算法。它不需要对信号进行时间上的反向传播。虽然学起来比传统的反向传播要慢一些,但最终性能很接近。更重要的是,e-prop还能很好地适用于那些拥有更复杂神经元模型的循环脉冲神经网络(RSNN)。这种基于资格迹的在线学习机制,是脉冲神经网络训练领域的重要突破。
最大的亮点在于,e-prop支持“在线学习”。这意味着,它不用一次性把海量数据全部处理完,而是可以一边接收新数据,一边实时学习。这大大减少了计算过程中对内存和能量的需求,让在手机、传感器这类小设备上进行“片上学习”变得可行多了。这种低功耗AI方案,非常适合移动端和边缘计算场景。
在大脑中,尖峰只有在需要处理信息时才会变得活跃。对于不那么活跃的网络,学习就成了一个特殊挑战——你需要观察很长时间,才能确定哪些连接对提升性能有帮助,学习效率自然就低了。e-prop用一个很巧妙的方式解决了这个问题。它让每个神经元记录一个“资格跟踪信号”,相当于一个“待办清单”,记下自己在什么时候用过哪些连接。然后,这个信号和自上而下的“学习信号”结合起来,共同指导突触可塑性。这套模型揭示了一个道理:生物神经元中那些缓慢变化的“隐藏变量”,为脉冲神经网络如何在没有错误信号向后传播的情况下学习,提供了一条可能的出路。神经元可以通过资格迹,让信息在更长的时间跨度里向前传播,从而和后来才出现的瞬时错误信号对上号。这种机制为类脑计算提供了坚实的理论基础。
此外,e-prop理论还为实验中发现的一个现象提供了合理解释:为什么多巴胺信号会针对不同的神经元群体有不同作用?以前基于奖励的学习理论认为,同一个学习信号应该发给所有神经元。但e-prop理论则认为,自上而下的学习信号是根据每个神经元群对网络性能(也就是损失函数)的不同影响来发送的,可以说是“定向投送”。这种精细化的调节方式,进一步提升了神经网络的学习效率。
神经形态硬件的新动力:从算法到芯片的落地
Maass 和 Legenstein 的态度很明确:e-prop 将成为新一代移动学习计算系统的驱动力。这些系统不需要人工编程,而是能像人脑一样学习,根据不断变化的需求自我调整。他们的目标是,让这类计算系统不再依赖云端,不再消耗大量能源,而是把学习的潜力直接整合到移动端的硬件组件里,真正做到节能。这正是神经形态硬件和低功耗AI发展的核心方向。
目前,这个团队正在与英特尔的研究人员合作,计划将e-prop方法集成到该公司的下一代神经形态芯片Loihi中。Loihi本身就是专门为尖峰网络优化的。同时,他们也在和曼彻斯特大学的人脑计划项目组合作,将e-prop应用到神经形态超级计算机SpiNNaker上。这些合作预示着脉冲神经网络与专用硬件的结合正在加速。
当然,要让这项技术达到今天最前沿AI的能力,还有很长的路要走。但话说回来,如果它真能帮我们逼近生物大脑中那种不可思议的能效,那么,一个无处不在的、低功耗的智能时代,可能就不远了。届时,类脑计算和神经形态硬件将真正改变AI的能耗格局。
