半机械臂鼓手和 AI 团队创造人类无法演奏出的音乐
为专业鼓手设计机器人假肢
从人工智能到 3D 打印，技术进步给假体设计带来了革命。最先进的假肢使配戴者能够完成我们大多数人认为理所当然的事。由于假肢的目标是让其配戴者能够完成对他们的日常生活十分重要的事情，因此为各种活动（从跑步到骑自行车，甚至跳舞）而定制的假体很常见。
假体设计需要多学科的技能，如生物工程、机器人学、机械工程、计算机科学以及音乐。没错，音乐。跑步者需要跑步，鼓手需要打鼓。
对于来自佐治亚理工学院音乐技术中心 (GTCMT) 的团队来说，为击鼓创造了一个定制的击鼓机器人假肢，这被证明是一个完美的项目。虽然假肢设计的进步通常包括肌肉或大脑控制的活跃度，但是这个项目的独特性在于部分设计是自主的：配戴者并不完全控制假肢的动作。
使用自主机器人击鼓假体的专业鼓手 Jason Barnes。
一名鼓手决心重返击鼓生涯
Jason Barnes 是一名鼓手。他在雷盖和前卫金属乐队里表演，影响他的音乐生涯的人，有像 Matt Garstka、Luke Holland 和 Neil Peart 这样的鼓手。
“我从 12 岁时开始学音乐。爸爸最开始教我玩吉他，但是我一直学得不是很好。后来，在 15 岁的圣诞节那天，我得到一套架子鼓。从那以后，我一直是个鼓手。”
22 岁时，他在一次工作事故中失去右臂。该事故就发生在他预定参加亚特兰大音乐与艺术学院 (AIMM) 面试的前几天。这个有抱负的鼓手下决心重返乐坛。出院后不久，他自己制作了基本的击鼓假肢。这是他的情绪恢复的重要一步。
“就在发生事故的几周后，我的残肢还缠着绷带。”他说，“我把鼓槌缠到我的绷带上，然后继续表演。这是我人生的转折点，让我知道仍然有可能做下去。”
他发明了用弹簧顶着的击鼓假肢，在他重新申请学校时，使用的就是这个假肢。2013 年，在原来预定的面试时间的一年后，他被 AIMM 录取。
新假肢，新音乐
在参加 AIMM 的 Eric Sanders 老师讲授的第一堂私教课上，Barnes 描述了为他开发机器人版击鼓手臂的想法。Sanders 向 Barnes 展示了一些佐治亚理工学院开发的机器人音乐家的在线视频。通过层层引荐，Barnes 见到了 Gil Weinberg 教授，他是该学院音乐技术中心的创办负责人，准备开始一个新项目。
Weinberg 教授和他的学生将音乐和技术这两个世界完美融合，来构建音乐机器人演奏大师。他们潜心研究人类所感知到的音乐背后的科学，然后使用机器学习来构建算法，使机器人能够理解音乐。机器人学习理解音乐元素，如节拍、节奏和切分音。当它们以人类的方式理解音乐时，便能够以无与伦比的速度和高超技巧进行演奏。它们能演奏人类无法演奏出的音乐。
“这就是这项工作有趣的地方。”Weinberg 说，“我们利用音乐创意增加我们机器人的能力。然后，新机器人的能力反过来激发新的音乐创意。”
Barnes 给 Weinberg 教授发电子邮件，询问 GTCMT 团队能否为他打造一个义肢，让他重新获得手腕的功能。他想要一个肌肉控制的假肢，能解读他上臂的肌肉运动，从而控制机械化的前臂和手腕。
“手腕对于鼓手的动作表达非常重要，我们为其他机器人设计过这类促动器。但是，我们没有制造机器人的经验，这种机器人实际上是人体的扩展，类似半机器人 (Cyborg)。这使得个项目非常有意思。”
Weinberg 教授同意制作机器人假肢，但他也有兴趣将这个设计与他现有的研究联系起来。温伯格教授研究的是与机器人音乐家一起演奏的即兴音乐。
“我说，‘当然，我们很感兴趣。’”Weinberg 说，“然后，我问他，‘如果允许一个鼓槌受您的肌肉控制，这样你就有了人造手腕，我们再增加第二个鼓槌，让它有自己的思维，会怎么样？它会即兴创作，从而将推动你进入新的音乐领域。’”
虽然不是他的最初目标，但 Barnes 欣然同意。Weinberg 从国家科学基金会获得拨款来资助这项开发。
Weinberg 教授在 GTCMT 实验室里弹键盘。
设计过程
初始设计仅用了六个月即告完成。敲鼓的模型使用 MATLAB 和 Simulink 搭建。假肢带有电机，用于带动两个鼓槌，每一个鼓槌的速度都比人类的鼓手快，最高可达每秒20拍。第一个鼓槌受两重控制，Barnes 的手臂进行物理控制，他的二头肌上的肌电图 (EMG) 传感器进行电子控制。第二个鼓槌是自主的，聆听音乐并完成即兴敲击动作。它是一个可穿戴式机器人。
自主机器人击鼓假肢的特写。
“这个假肢远远优于目前市面上可用的任何东西。而且它的工作方式和我之前击鼓的方式非常类似。我只是正常伸展我的肌肉，它们向假臂发送信号，让它做出相应的动作。我弯曲的越厉害，鼓槌就抓得越紧。”
它们之间也有不同之处：可穿戴机器人使 Barnes 能够创作出真正独特的音乐。它使用人工智能 (AI) 检测他击鼓的节拍、节奏和密度，用敲击进行响应，补充它“听到”的鼓点。它还自主地聆听吉他手弹奏的和弦，并根据和弦调整敲击速度。
“第二个鼓槌有自己的思维，相应地即兴敲出它自己的鼓点。延迟不是问题。它的速度也非常快，能演奏人类无法演奏出来的多旋律。就像是我与机器人的合体。有时感觉很酷，很有创意，有时又很烦。这就像是通常与乐队成员的乐队练习。”Barnes 主张创造性地控制：“它会把你意想不到的事情抛给你，所以你必须专注于你的事情。但最终还是由我来决定想要敲在哪一面鼓上，甚至一开始就决定是否要让机器人鼓槌参与表演。虽然我无法控制它表演什么，但我能控制是否让它表演。”
起初，该团队严重依赖电子和机械工程技能。随着机器臂的出现和可靠的操作，团队的工作重心转向了计算机科学和 AI。他们开发的机器学习和深度学习代码让假肢和其他机器人能与音乐大师互动。
GTCMT 实验室的 Zach Kondak（左）、Jason Barnes（在鼓边）、Weinberg 教授（右）
“我们使用复杂性各异的技术，从非常基本的机器学习，如马尔可夫链，到更复杂的算法，如卷积神经网络。”专攻机器人音乐才能的 GTCMT 应届毕业生 Zach Kondak 说。
“例如，我们能实时运行简单的算法，让机器人与我们快速互动。但是，深度学习算法实际上能够创作非常丰富和结构化的音乐。而且是离线完成的。”
重新设计实现可随身携带
该团队希望创造出一种设计，让需要假肢的其他音乐大师也能够使用，但挑战依然存在。当前设计很笨重，需要交流电源。还要连到两台计算机上进行信号处理。他们正在重新设计来解决这些问题。
计划的重新设计将继续使用来自手臂的 EMG 信号控制该装置，但将会使用嵌入式处理器，使所有的信号处理都在该装置本身上完成。用电池电源替代交流电源供电。重量也会更轻，因为在长时间演出过程中承受该装置的重量会让人感到疲劳。
“我们会让下一个迭代更轻便，这样 Jason就可以自己使用它了。”Weinberg says 说，“像旅行音乐家一样开启职业生涯。”
对 Barnes 来说，他的最终目标是巡回演出。“对，就是玩音乐。”他说，“没有比这更好的了。这一直是我的热情所在。”
