林立的机器人通过舞蹈建立信任
动作和声音让机器看起来像人类一样有感情
在一个黑暗的房间里，12 个手臂状的白色机器人立在底座上。一对人类舞者走近中间的一个。舞者与机器人审视着对方。舞者开始绕着机器人转圈，而机器人则在旋转。现场音乐开始。更多舞者爬行着靠近，伴随着更多机器人的苏醒。人和机器随着鼓、吉他和喇叭的节奏移动。缓慢的钢琴旋律取代了其他乐器，这时一个舞者独自与一个机器人缠绕在一起，并拥抱另一个机器人。音乐响起，一名说唱歌手走过来，唱着说唱。17 名舞者在他周围扭动，其中只有 5 名是人类。
这不仅仅是实验剧场。这是佐治亚理工学院音乐技术中心使用美国国家科学基金会 (NSF) 拨款完成的一项成果。人类和机器人各有长处。人类具有创造性且能够随机应变，机器人能够保持一致性和精确性。理想情况下，人类和机器人将能够一起工作，在家庭、工作和学校展开合作。要做到这一点，人们需要信任他们的机械伙伴。因为我们的进化让我们基于某些社交暗示建立信任，所以机器人需要能够展现出这些暗示。
“森林”表演——佐治亚理工学院音乐技术中心和肯尼索州立大学舞蹈系的一个合作项目。（视频所有权：佐治亚理工学院）
音乐技术中心的创始人及主任 Gil Weinberg 花了多年时间研究这些暗示。他向国家科学基金会提出了一个创意，通过一个项目向大众普及他的一些发现。他说，“我想到的最好的方式就是让它们和使用声音和动作传达信息的音乐家以及舞者一起表演。”
据 Weinberg 小组的一名研究生 Amit Rogel 说，“人们通常对机器人有诸多畏惧。大家都看过很多关于杀手机器人或邪恶人工智能的电影。这就使得和大家分享我们的工作十分重要。因为大家能看到人和机器人之间正面的且具有艺术性的互动。”
劲舞革命
前文描述的视频源于 Weinberg 小组早期的工作，当时他们开发了一个可以为机器人生成带感情的声音的系统，目的是提高人类与机器人的信任。为了给系统创建数据集，他们邀请音乐家通过声音或乐器传达一组情感，然后训练一个神经网络（一种受大脑构造启发的软件）为每种情感生成新的音频样本。他们发现，当人们与机器人合作完成诸如将物体放入容器等任务时，如果机器人在互动过程中发出带有感情的声音，观察者会更信任机器人。下一步自然是教机器人通过动作传达感情。
“如果我穿着动作捕捉服和另一个人说话，你会看到机器人在做细微的动作。例如，当我说的话更有影响力时，它会点头。这很令人惊讶，也很酷。”
将人类全身的姿势和动作转换到无手机器人身上并不简单。Amit 查阅了心理学研究资料，并且仔细研读了人类如何通过运动来表达自己。他说，“例如，当人高兴的时候，他们的头会向上，胳膊会抬起，他们会做重复的上下运动。”Weinberg 小组使用了一种名为 Franka Emika Panda 的机器人，它的七个关节具有七个自由度。“抬头意味着关节 6 是 x 度。一个高位置表明关节 4 将是 y 度，然后上下运动看起来就像这样，”他一边说一边上下移动他的身体。在一项研究中，他们发现人们可以轻松解读预期的情感。参与者还觉得这些活跃的机器人很可爱并认为它们看起来非常聪明。
肯尼索州立大学的舞者与佐治亚理工学院音乐技术中心的机器人一起表演。（图片所有权：Gioconda Barral-Secchi）
除了优美的视频，小组还录制了一段学生表演，包括六个不同的作品。舞者们与十几个与 Panda 相似的 UFACTORY xArm 混在一起。在一个作品中，机器人根据音乐执行了预先编排的动作。在另一个作品中，它们对操作它们关节或对着它们的摄像头表演动作的人做出了反应。它们还根据某人的脑电波进行了表演。在又一个作品中，它们还利用来自舞者动作捕捉服的数据进行了即兴创作。最后，它们还根据基于相邻机器人的动作的规则来做出它们自己的动作。
Rogel 喜欢穿着动作捕捉服与机器人互动。“动作捕捉服可以捕捉到你甚至不知道自己在做的微小动作，”他说。“如果我穿着动作捕捉服和另一个人说话，你会看到机器人在做细微的动作。例如，当我说的话更有影响力时，它会点头赞同。这很令人惊讶，也很酷。”
Smooth Operator
Rogel 用 MATLAB® 编写了机器人的动作规则。代码定义了机器人如何对动作捕捉、摄像头、脑电图、音乐、人的推动和其他机器人的动作的任意组合做出响应。Rogel 用 Simulink® 的模块表示控制函数，用来控制不同元素如何交互。他可以打开模块，查看函数。“我是一名机械工程师，我喜欢看着方程解决数学问题，而不是软件代码。这些随时可用的工具箱让 MATLAB 能够很轻松地完成所有这些需求。” Rogel 说到。
在 Simulink 中，他以两种不同的方式可视化机器人的动作。一种是显示各个点的加速度图。另一种是以动画小人的形式显示每个机器人。他说，“我可以测试不同的参数，看它的反应如何，而不会损坏任何机器人。如果我做的东西很酷，我也可以在机器人上测试之前就看到它。这个工具执行迭代过程很简单。”
来自动作捕捉服的原始数据非常混乱。最有帮助的一项软件功能是将运动曲线转换为方程，让团队可以使用这些方程生成新的机器人运动。通常，他们会创建五阶多项式，也就是使变量次数为 5 的方程。这样做可以确保当他们采用双导数将位置转换为速度和加速度时，他们仍然有一个三阶多项式——一条光滑的曲线。否则，电机的运动可能会像痉挛一样，不但可能损坏硬件，而且看起来不自然。
另一个技巧是跟进。当一个人移动身体的某个部位时，身体的其他部位也会随之移动。例如，当你挥手时，你的肩膀会调整。Rogel 说，“我们想让机器人模仿这种机制。这样当它们跳舞时，就会看起来很自然，像一个流畅的动作，而且很优雅。”他的团队使用软件找到一条曲线的峰值（一个点的最大加速度），然后改变另一个点的曲线，使其偏移一定的时间。
附近肯尼索州立大学的编舞 Ivan Pulinkala 与说唱歌手一起为这段优美的视频进行了编舞。他有时会注意 Rogel 的动向，并适时提出建议。他会描述人类脊柱的起伏，或者提议机器人应看起来像是在呼吸。Pulinkala 说，“我觉得令人兴奋的地方是，它完全改变了我的编舞方法以及舞者对运动的理解。”
在准备录制节目的某一段时，这些机器人即兴地发挥了些动作，然后又重复了这些动作，以便从不同的角度拍摄视频。为此，Rogel 在 MATLAB 中用一个舞者的表演训练了一个神经网络，以便为机器人生成带有该舞者风格的新动作。
Weinberg 说，“最大的挑战之一是如何使其动作像人类一样流畅顺滑。我当时觉得这会很棘手，因为这些机器人不是为了跳舞而设计的。Amit 做得很棒。看看这学期末的学生视频。你会看到机器人是怎样和人一起随着音乐翩翩起舞的。否则，我们可能会陷入恐怖谷，觉得机器人看起来怪瘆人的。”
“最大的挑战之一是如何使其动作像人类一样流畅顺滑。我当时觉得这会很棘手，因为这些机器人不是为了跳舞而设计的。Amit 做得很棒。你会看到机器人是怎样和人一起随着音乐翩翩起舞的。”
佐治亚理工学院音乐技术中心的研究生 Amit Rogel（前景，右）与其他“森林”研究人员（从左到右为 Mohammad Jafar、Michael Verma 和 Rose Sun）一起工作。（图片所有权：Allison Carter/佐治亚理工学院）
共生
Weinberg 说，“肯尼索舞者对我们的机器人表现出的喜爱让我感到惊喜。我本来对此也没抱什么希望，因为他们来自完全不同的世界。在此之前，他们可能认为机器人只是些机械工具。”
“我不是绕着它们跳舞，而是与它们共舞。感觉上它们就是在和我们一起跳舞。”
舞蹈演员 Christina Massad 在接受亚特兰大 NPR 电台采访时描述了自己的思想转变，“我不是绕着它们跳舞，而是与它们共舞。感觉上它们就是在和我们一起跳舞。”
Rogel 使用了 MATLAB 来调整机器人关节对接触的灵敏度。他说，“我们确实希望舞者能够近距离接触机器人，并真正建立联系。一开始，他们很胆小，很害羞。但当机器人向他们移动，让他们第一次撞到机器人时，人是安全的，机器人也是安全的，这让他们的感觉真实了起来。”
舞者靠近机器人，与机器人建立联系。（图片所有权：佐治亚理工学院）
无论有没有接触，机器人都会偶尔发生故障。Rogel 说，“舞者们真的很喜欢这一点，因为这让人感觉它们更像人，就好像它们也会累。”团队还使用了一些小技巧让机器人更鲜活，例如给它们设计眼睛、名字和背景故事。
团队还考虑了更多的实验。他们希望进一步探究人对机器人动作的信任程度。他们还在研究情绪感染，也就是人希望机器如何回应他们自己的情绪，以及人的性格的作用：不同的人可能喜欢不同的反应。为了进一步传播他们的见解，他们计划带着“森林”巡回演出。Pulinkala 希望做一个更长的节目。
“森林”与其他人机交互研究的区别之一在于它涉及多个机器人的集合。Weinberg 称这同时包含了技术和社交的挑战。“这个想法用森林作为隐喻。受到森林生物多样性的启发，我们试图集合一群的机器人和人类，让他们玩耍、跳舞并彼此影响。音乐也很多样，将中东音乐、电子舞曲、嘻哈音乐、古典音乐、雷鬼音乐、卡纳迪克音乐等多种音乐风格融合在一起。”
项目背后的人也有各种背景。“团队由学生、教授、行政人员、音乐家、工程师、舞者和编舞人员组成。团队还涵盖了不同的性别、种族、国籍和文化背景。我想我们创造出了独一无二的东西。每个人都有所收获。”Weinberg 接下来介绍了音乐技术中心背后的更大使命。“我非常支持多样化，而在佐治亚理工学院这样的工科大学要做到这一点还是很有挑战性的。”比如说，佐治亚理工学院就没有舞蹈课程。他说，“可能有一些舞者也擅长计算机科学，但没能找到一种方法将两者结合起来。而这种项目正好能让他们将两者的优势结合起来。”
