动物从出生起便自带“天然本领”——马驹出生数小时后就能站立行走,小鸭破壳不久便会游泳,而人类婴儿天生就会被人的面孔吸引。经过亿万年的进化,大脑在极少经验下就能应对复杂世界。受此启发,许多AI研究者开始思考:人工神经网络是否也能具备这种与生俱来的能力?

一项最新研究给出了令人意外的答案:人工神经网络可以通过进化达到“无需学习”即可完成任务的程度。这项发现有望催生一种全新类型的AI——它们在处理照片标注、自动驾驶等任务时,天生就极为擅长。
通常,人工神经网络通过调整神经元之间连接的“权重”进行学习,例如玩游戏或识别图像。而另一种名为神经网络架构搜索(NAS)的技术,则会枚举大量不同的网络形状与大小,从而找出学习能力最强的结构。如今,新方法利用同样的搜索思路,去发现那些“根本不需要调整权重”的网络——网络的整体结构本身就决定了其智能水平,这类网络在某些任务上可能具备天然优势。
谷歌Brain的计算机科学家Adam Gaier表示:“既然动物有那么多天生的行为,一些神经网络在未经大量训练时也能表现出色,我们想知道这个想法究竟能走多远。”
整个实验从一组极其简单的网络起步:它们直接将输入(例如机器人传感器的数据)映射到行为输出。系统评估每个网络在特定任务上的表现,保留表现最优的网络,然后通过添加神经元、添加连接或改变神经元对输入总和的敏感度,使这些网络发生“突变”。关键一步在于:在评估阶段,所有权重被赋予同一个共享的随机数——实际上是对多个随机数分别测试,然后取平均值。
最终得到的成果被称为“与权重无关的神经网络”(WANN)。它们因任务执行出色且结构极简而获得高分。相比之下,处理相同任务的典型网络通常有数千个神经元和成千上万个权重,而WANN仅含少量神经元,且只拥有一个权重。
更令人意外的是,WANN的表现竟然相当不俗。研究团队将其与标准网络架构进行了对比——标准网络的权重经过逐步优化,能够熟练完成三项模拟任务:驾驶赛车、让两足机器人行走,以及控制双轮推车平衡支杆。

与经过训练的标准网络相比,WANN的得分仅为后者的六分之一到一半。然而,当研究人员为WANN赋予表现最佳的权重(而非随机权重)后,其分数提升到标准网络的三分之二到五分之四。更值得注意的是,如果在进化后再采用标准网络的训练方式对WANN进行训练,两者的最终性能几乎不相上下。
在另一项手写数字识别任务中,WANN的准确率超过90%,而针对该任务训练的庞大网络准确率为99%。该研究已在上个月的神经信息处理系统大会(NeurIPS 2019)上公布。
优步AI实验室的计算机科学家Rosanne Liu(未参与该研究)评价道:“整个系统切实可行,这非常了不起。”此前,其他研究人员尝试开发不依赖权重的网络都以失败告终。Gaier透露,这项突破其实源于一次意外:他们原本计划给所有权重赋予同一个数字,却发现这是一个“bug”,然而这个bug反而大大简化了网络搜索。
尽管WANN的性能尚未超越经过训练的大型网络,但这种方法开辟了一条全新路径——寻找专门适合不同任务的网络架构。正如大脑的不同区域以不同的连接方式适应特定功能一样,也许还有大量未被发现的“构造模块”等待我们去探索,让AI一出生就自带智慧。
