点击蓝字 关注我们
SUBSCRIBE to US
MIT
具有数十亿参数的神经网络为ChatGPT和Dall-E等基于人工智能的日常工具提供了动力,每一个新的大型语言模型(LLM)在大小和复杂性上都优于其前身。与此同时,在麻省理工学院的计算机科学与人工智能实验室(CSAIL),一组研究人员在最近的研究中,展示了一种称为液体神经网络的小型20000参数机器学习系统的效率。
研究人员介绍了一种方法,使无人机能够在复杂和陌生的环境中掌握基于视觉的飞向目标任务。该团队使用了不断适应新数据输入的液体神经网络。他们表明,配备这些设备的无人机在复杂、全新的环境中表现出色,精度很高,甚至超过了最先进的系统。这些系统能够做出决策,将他们带到以前未被探索的森林和城市空间中的目标,并且他们可以在存在额外噪音和其他困难的情况下这样做。
典型的机器学习系统中的神经网络只在训练过程中学习。之后,它们的参数被固定。CSAIL的科学家之一Ramin Hasani解释说,液体神经网络是一类在工作中学习的人工智能系统,即使在经过训练后也是如此。换句话说,他们利用“液体”算法,不断适应新的信息,比如新的环境,就像生物体的大脑一样。Hasani说:“它们是根据生物大脑中神经元和突触的相互作用直接建模的。” 事实上,它们的网络结构受到了被称为C. elegans的生物的神经系统的启发,秀丽隐杆线虫是一种常见于土壤中的微小蠕虫。
Liquid Neural Networks | Ramin Hasani | TEDxMIT,YOUTU.BE
“We can implement a liquid neural network that can drive a car, on a Raspberry Pi”. 
—Ramin Hasani, MIT’s CSAIL
Hasani说,这项实验的目的不仅仅是无人机强大的自主导航。“这是关于测试神经网络作为自主系统部署在我们的社会中时的任务理解能力。”
作为控制无人机的神经网络的训练数据,研究人员使用了一名人类飞行员向目标飞行时收集的无人机镜头。Hasani说:“你会预期系统已经学会了向物体移动。”但是,他没有定义物体是什么,也没有提供任何关于环境的标签。“无人机必须推断出任务是这样的:我想向(物体)移动。”
该团队进行了一系列实验,测试学习的导航技能是如何转移到前所未有的新环境中的。他们在许多现实世界的环境中测试了该系统,包括在森林的不同季节和城市环境中。无人机进行了航程和应力测试,目标被旋转、遮挡、移动等等。液体神经网络是唯一一种可以在没有任何微调的情况下推广到他们从未见过的场景的网络,并且可以无缝可靠地执行这项任务。
液体神经网络在机器人技术中的应用可能会带来更强大的自主导航系统,用于搜救、野生动物监测和运送等。Hasani表示,随着城市密度的增加,智能出行将至关重要,而这些神经网络的小尺寸可能是一个巨大的优势:“我们可以在树莓派上实现一个可以驾驶汽车的液体神经网络。”
超越无人机和机动性
但研究人员认为,液体神经网络可以走得更远,成为与任何类型的时间序列数据处理相关的决策的未来,包括视频和语言处理。由于液体神经网络是序列数据处理引擎,它们可以预测金融和医疗事件。例如,通过处理生命体征,可以开发模型来预测ICU中患者的状态。
除了其他优势外,液体神经网络还提供了可解释性和可解读性。换句话说,他们打开了众所周知的系统决策过程的黑匣子。Hasani说:“如果我(在无人机系统中)只有34个神经元,我就可以去弄清楚每个元素的功能。”这在大规模的深度神经网络中几乎是不可能的。更小尺寸的液体神经网络也大大降低了机器学习模型的计算成本,从而减少了碳足迹。
Hasani和他的同事正在寻找改进液体神经网络的方法。他说:“这篇论文涵盖了一种非常可控和直接的推理能力,但现实世界的交互则需要越来越多复杂的推理问题解答。” 该团队希望设计更复杂的任务,并对液体神经网络进行极限测试,同时也要弄清楚为什么液体神经网络在推理测试中比竞争对手表现得好得多。
微信号|IEEE电气电子工程师
新浪微博|IEEE中国
 · IEEE电气电子工程师学会 · 
继续阅读
阅读原文