失去手臂的音乐家借助人工智能义肢重新弹奏钢琴

作者 英伟达中国

灵感来自“星球大战”的手臂可以控制每根手指。

机械手臂的灵感来自于卢克·天行者的仿生手臂,与遥远的银河系更接近了一些。

尽管这只手臂不能挥舞光剑,但它却为爵士音乐家 Jason Barnes 带来了更大的能量,使得他五年来第一次弹上了钢琴。

Barnes 在一次工伤事故中失去了大部分右臂,但借助乔治亚理工学院研究人员创造的人工智能义肢,他重新开始弹琴。与大多数义肢不同的是,它可以让这位 28 岁的音乐家分别控制每一根手指。

使用这个义肢,Barnes 可以演奏贝多芬的作品。他还可以弹奏《星球大战》的主题曲。(您可以在下面的视频中看到他。)

“这太令人兴奋了”,Barnes 说。“如果可以用它来弹奏钢琴,那么它几乎可以做任何事。”

独立的手指控制使得手指使用更加灵活

由于可以分别控制各个手指,Barnes 和其他被截肢者可以使用人工智能义肢来完成日常活动,例如,拿叉子、毛巾或梳子。这种灵活性得益于 GPU 加速的深度学习与超声波机的联合作用。

与大多数义肢一样,Barnes 每天使用的义肢依赖肌动电流图 (EMG) 传感器来检测其肌肉中的电脉冲。尽管这些传感器会识别肌肉运动,但 EMG 信号的噪音太大,无法确定要移动的手指。

“这就像在音乐厅旁边放一个麦克风那样,”负责该项研究的乔治亚理工大学教授 Gil Weinberg 说。“而我们需要把它放在音乐厅里面。”

超声波奏起共鸣的乐章

Weinberg 在一个同事的实验室中尝试改善 EMG 时,注意到旁边有一台超声波机。无独有偶,通过医生用于观察子宫中胚胎的超声波机,他看到了肌肉收缩以及肌肉运动的速度和方向。

“我明白了”,他说。“通过超声波发现,手指的移动与设备上显示的内容之间存在明显的相关性。”

通过在手臂上安装一个超声波探头,Weinberg 训练了一个深度学习网络来分析和检测肌肉运动。结合使用我们的 GeForce GTX TITAN X GPU 与 cuDNN 加速的 TensorFlow 深度学习框架,该团队创建了一套算法,用于预测音乐家尝试使用哪根手指。

与众不同的鼓手

“星球大战”手臂是 Barnes 的第二个人工智能义肢。这位亚特兰大的音乐教师渴望成为一名鼓手。事故发生后,他决定继续演奏,于是装上了自制义肢。利用这个义肢,他可以使用鼓槌,但无法控制鼓槌的速度或弹力。

这对乔治亚理工大学音乐技术中心创始董事 Weinberg 提出了极大的挑战,他希望通过创建可以创作和演奏歌曲的人工智能技术来改变我们对音乐的看法。

在 Barnes 找到他时,Weinberg 制作的机器人已经可以演奏打击乐器弹奏马林巴琴。它们利用深度学习与人类音乐家进行即兴表演。与 Barnes 一样,他也是一位爵士音乐家(钢琴家),使用人工智能帮助 Barnes 恢复到极佳状态的这个想法引起了他极大的兴趣。

人工智能音乐巡回演出

但 Weinberg 所做的不仅仅是让 Barnes 重新打鼓。他构建的深度学习义肢不是具有一个鼓槌,而是具有两个鼓槌。Barnes 控制一个鼓槌,另一个鼓槌则根据室内音乐进行即兴演奏。Weinberg 说,除了作曲之外,机械手臂的演奏速度也比世界上的许多鼓手要快。

“我们的想法是让您做回原来的自己或者做得更好”,Weinberg 说。“借助深度学习,我们可以突破人类可能的极限。”

尽管第二个鼓槌最初是令人生畏的,但 Barnes 掌握得很好,足以进行巡回演出。在这次旅行中,他和 Weinberg 去了四大洲,并在华盛顿的肯尼迪中心待了一段时间。

“我走出了一场可怕的事故,如今竟在世界各地进行演出了,”Barnes 说。