这是荷兰代尔夫特理工大学团队研发的新式无人机,采用了基于动物大脑工作原理的神经形态图像处理器来控制自主飞行。与目前在GPU(图形芯片)上运行的深度神经网络相比,动物大脑使用的数据和能量更少。因此,神经形态处理器非常适合小型无人机,完全不需要笨重的大型硬件和电池。在飞行过程中,该无人机的深度神经网络处理数据的速度比在GPU上运行时快64倍,而能耗仅为后者的1/3。
如果这项技术进一步发展,可能会使所有无人机都变得像飞虫或鸟类一样小巧、敏捷且智能。
上图为第一架采用完全视觉控制的神经形态AI无人机。
下图为神经形态无人机飞越花朵图案,无人机从放在角落的神经形态相机接收到视觉输入。红色表示像素变暗,绿色表示像素变亮。
图片来源:圭多·德·克罗恩/代尔夫特理工大学
“进阶”为脉冲神经网络
人工智能(AI)拥有巨大潜力,可为自主机器人提供实际应用所需的智力支持。然而,当前的AI依赖于需要大量计算能力的深度神经网络。用于运行深度神经网络的GPU又会消耗大量能量,特别是对于像无人机这样的小型机器人来说,更是一个严重问题,因为它们在传感和计算方面只能携带非常有限的资源。
动物大脑处理信息的方式,则与GPU上运行的神经网络截然不同。生物神经元异步处理信息,主要通过尖峰电脉冲进行通信。由于发送这样的尖峰会消耗能量,因此大脑会自发最大限度地减少尖峰。
受动物大脑这些特性的启发,科学家们正在开发新的神经形态处理器。这些新处理器允许运行脉冲神经网络。
脉冲神经网络执行的计算比标准深度神经网络中的计算简单得多。数字脉冲神经元只需要添加整数,而标准神经元必须相乘并添加浮点数。这使得脉冲神经网络更快、更节能。举个例子,这就好比人类大脑可以简单地判断出,计算5+8比计算6.25×3.45+4.05×3.45要容易得多。
如果将神经形态处理器与神经形态传感器(如神经形态相机)结合,这种能源效率还将进一步提高。其信号可直接输入在神经形态处理器上运行的脉冲神经网络,成为自主机器人的巨大推动力。
首次实现神经形态视觉和控制
在发表于《科学·机器人》上的一篇文章中,荷兰代尔夫特理工大学研究人员首次展示了这种使用神经形态视觉和控制进行自主飞行的无人机。具体来说,他们开发了一种脉冲神经网络,可处理来自神经形态相机的信号,并输出控制命令,以确定无人机的姿态和推力。他们将这个网络部署在无人机上的神经形态处理器上,即英特尔的Loihi神经形态研究芯片。借助网络,无人机可感知并控制自己在各个方向的运动。
训练脉冲神经网络其实是个巨大挑战。研究团队设计了由两个模块组成的网络。第一个模块学习从移动的神经形态相机的信号中,通过视觉感知运动。它仅利用来自相机的数据,完全以自我监督的方式自行完成,类似于动物学习如何感知世界。
第二个模块学习在模拟器中将估计的运动映射到控制命令。这种学习依赖于模拟中的人工进化,经过几代人工进化,脉冲神经网络就会越来越擅长控制,最终能够以不同的速度向任何方向飞行。
最终,无论是在黑暗环境中穿梭,还是在明亮光线下翱翔,凭借其神经形态视觉和控制,无人机能轻松实现不同的光照条件下的多种速度飞行。
神经形态AI大幅提高能效和速度
这是神经形态AI的一次完美演出。
首先,该网络平均每秒运行274—1600次。而在小型嵌入式GPU上运行的同一网络,平均每秒仅运行25次,相差10—64倍。
其次,在运行该网络时,英特尔Loihi神经形态研究芯片耗电1.007瓦,其中1瓦是处理器在打开芯片时消耗的空闲功率,运行网络本身只需7毫瓦;相比之下,嵌入式GPU在运行同一网络时,耗电为3瓦,其中1瓦为空闲功率,2瓦用于运行网络。
神经形态方法无疑使AI运行更快、更高效,而且能轻松部署在微型自主机器人上。
拿微型自主无人机来说,其可用于监测温室作物、跟踪仓库库存等诸多领域。它们更安全,可在狭窄的环境中(比如几株植物之间)顺利导航;它们还非常便宜,可以成群部署,快速覆盖一整个区域。
但科学家不会止步于此,他们正在进一步缩小神经形态硬件,并准备将神经形态AI扩展到更复杂的任务中。
标签:
近日,我国科研人员发表在全球顶级学术机构北欧生态学学会旗舰期刊《生态地理学》(Ecography)上的一项研究显示,全球高山地区森林火灾在过
近日,兰州大学物理科学与技术学院引力团队教授魏少文、刘玉孝与加拿大滑铁卢大学Robert B Mann教授合作,利用段一士提出的Φ映射拓
国家邮政局监测数据显示,截至4月29日,今年我国快递业务量已达500亿件,比2023年提前32天,进一步凸显快递业的澎湃活力和强劲动力,折射出
旗袍,中国和世界华人女性的传统服装,被誉为中国国粹和女性国服。虽然其定义和产生的时间至今还存有诸多争议,但它仍然是中国悠久服饰文化
7月21日,北京市政府发布《北京市电影局关于在疫情防控常态化条件下有序推进电影院恢复开放的通知》,宣布全市低风险地区影院,可于7月24日
武汉7·16渡江节组委会14日发布公告,由于长江武汉关水位超警戒水位,按照规定取消2020年第46届武汉7·16渡江节。受近期持续强降雨影响,
过去一段时间,国家级非遗项目灰塑传承人邵成村,多次在陈家祠等工作现场,向身边那些带着好奇目光的人们讲解灰塑的种种技术细节:草根灰、
7月13日,位于璧山区南门唐城夜市街区的璧山冷酒夜市开街。这是璧山区打造夜间经济消费载体、培育夜间经济活动品牌的举措之一。璧山市民一