基于深度学习的动作捕捉系统助力野生猎豹研究
通过机器人研究洞悉猎豹惊人的机动性
在地跨南非和博茨瓦纳广袤的卡格拉格帝跨境公园内，野生猎豹妈妈和她的三只幼崽正在捕猎跳羚。猎豹之所以能够迅速扑倒猎物，是因为敏捷性和快速加速能力赋予它们决定性的优势。Amir Patel 是开普顿大学生物力学教授兼非洲机器人研究中心 (ARU) 主任。在他的实验室内，他正在安全距离内现场训练着动作捕捉系统。
Patel 和他在 ARU 的团队致力于通过研究猎豹如何移动，打造更出色、更敏捷的机器人。“猎豹代表着机动性的巅峰水平，”Patel 说道。“要深入研究它，我们需要设计新的方法来衡量运动和力或者执行优化。”
关注猎豹这种地表速度最快的动物催生了诸多技术上的进步和发展。在机器人、多体建模、反馈控制、轨迹优化、计算机视觉和深度学习领域，研究人员开发了各种新的技术。
猎豹异常敏捷，能极快地加速和急转弯。（视频所有权：开普敦大学非洲机器人研究中心）
虽然 Patel 多年来一直在使用 MATLAB® 和 Simulink®，但 Campus-Wide License 使他和该大学的其他研究人员能够更充分地利用该平台。
“我们根据所研究的问题选择合适的工具，”Patel 说道。“这种校园级许可证给我们带来了极大的便利。”
该团队还发现，MATLAB 和 Simulink 支持与其他编程语言（如 Python®）和硬件（如 Speedgoat®）进行无缝的互操作。
Patel 与 Mackenzie Mathis 博士和 Alexander Mathis 博士协作，将他们开发用于无创动物行为跟踪的开源工具箱 (DeepLabCut™) 应用于跟踪野外奔跑的猎豹这一任务。这项研究荣登自然协议杂志的封面。
随后，Patel 以其基于深度学习的动作捕捉系统 WildPose 获得计算机感知类别的“谷歌研究学者奖”。MathWorks 也为该实验室的研究提供了大力支持。Patel 的工作为他带来了两项专利，催生了一家大学衍生公司，并引发了机器人专家、运动科学家、临床医生、生物学家、生态学家和保护区管理者的浓厚兴趣。
意外的收获
在野外，猎豹的冲刺速度高达每小时 120 公里（75 英里），这使它们成为陆地动物中的短跑冠军。大型猫科动物可以快速加速，轻松追逐猎物，这并不奇怪，因为它们的腿和脖子较长，脑袋较小，且爪子处于半伸缩状态。
世界上大约 18% 的猎豹生活在南非。作为一名工程师，Amir Patel 很早就对本地动物很着迷。他在开普敦大学攻读博士学位之初，就计划使用猎豹数据开发完整的机器人。
“想象一下，您在车里，将手臂伸出窗外，您能感受到那股力量。我们已经确定，猎豹在高速转弯时，借助这种空气动力学阻力来稳定身体。”
“当时，没有关于猎豹如何利用尾巴或灵活的脊椎或模型来解释猎豹机动性的信息，”他回忆道。
Patel 将猎豹毛茸茸的长尾巴作为研究对象。那时，关于尾巴的数据是基于其他动物的。科学家并不十分了解其重量和惯性情况。当时的野生动物专家普遍认为，尾巴很重，具有很大惯性，起着配重的作用。
后来，他的一位博士协作者，比勒陀利亚国家动物园的 Emily Lane 教授，请他观看一只自然死亡的猎豹的尸检。在尸检过程中，Patel 拍摄了照片并进行了测量。
“我原以为尾巴会很大，”他说道。“但实际上，猎豹的尾巴很纤细，仅占其体重的 2% 左右。”
为了更好地了解毛皮的空气动力学效应，Patel 将 Lane 提供的已故猎豹的尾巴放在风洞中。他使用 MATLAB 和 Simulink 进行了建模。
“想象一下，您在车里，将手臂伸出窗外，您能感受到那股力量，”他说道。“我们已经确定，猎豹在高速转弯时，借助这种空气动力学阻力来稳定身体。”
将猎豹的尾巴放在风洞中以了解毛皮的空气动力学效应。（图片所有权：Amir Patel）
机器人专家经常从大自然中汲取灵感，但 Patel 发现自己所做的生物学研究受到机器人的启发。他的机器人背景为研究猎豹提供了新的视角。
生物灵感催生活塞应用
作为 ARU 的四名主要研究人员之一，Patel 和他的学生从不同角度研究猎豹：创建机械系统的数学模型，感知和测量动物的行为，以及制造机器人来作为复杂运动的机械模型。猎豹的奔跑速度不断变化，这增加了研究其运动的难度。相比其他拥有恒定速度的动物，研究猎豹的动态更有挑战性。
他和其他 ARU 工程师打造了一款名为 Baleka 的两足机器人，该名称来自科萨语，意思是“冲刺”。该机器人的设计利用了轨迹优化方法。结果表明，机器人实现的垂直灵活性超过了人类。
在 2023 年机器人和自动化国际会议 (ICRA) 上，Patel 和他的学生 Christopher Mailer 展示了一种新型四足机器人原型 Kemba 的设计和控制。这种混合气动电动原型平台的名称取自祖鲁语 inkemba（即“剑”），该机器人可以在相当于其 2.2 倍腿长的高度跳跃。
Patel 说道，“在观看视频时，我们发现，猎豹并没有尝试精细地控制脚，而只是尝试尽可能用力地蹬地。”“这与气动活塞施加力的方式有着异曲同工之处。”
Patel 表示，他和他的学生都有反馈控制方面的背景，因此自然而然地想到了从一个系统移至下一个系统的模块图和信号。
双足机器人 Baleka 的跳跃测试。（视频所有权：开普敦大学非洲机器人研究中心）
腿式机器人 Kemba。（图片所有权：开普敦大学非洲机器人研究中心）
通常，机器人专家不使用气动活塞，因为它们难以精确控制，但 ARU 团队接受了这种效果。他们利用 Simscape Multibody™ 和 Simulink 为 Kemba 膝盖上的气动活塞建模，仿真四腿机器人的预期运动，并为其设计控制器。
Patel 表示，他和他的学生都有反馈控制方面的背景，因此自然而然地想到了从一个系统移至下一个系统的模块图和信号。该团队在用于多体建模的机械 CAD 软件中设计了 Kemba，然后将这些设计移植到了 Simscape™ 中。
借助基于模型的设计，Patel 和他的学生可以实时查看加速度信号，他认为这非常有用，特别是对于调试更是如此。此模块图环境缩短了团队的开发时间，还支持快速测试和试验、系统优化以及代码自动化。
“Simulink Real-Time™ 正在改变游戏规则。过去，我采用手动编码，但总出问题，”他说道。“现在，我们使用 Speedgoat 实时控制系统，该系统可以轻松地与 Simulink Real-Time 集成。我们只需点击一下按钮，它就会在机器人上运行。这使得开发工作的质量更好，速度更快。”
在 ICRA 上，科学家们展示了 Kemba 在加速和跳跃方面的潜力。这个刚性脊椎机器人的跳跃高度可达 1 米（3.28 英尺）。
接触顺序对猎豹和机器人都很重要。即使使用机器人抓取器或抓手，理想的接触顺序也会在移动或操纵目标时产生很大的影响。2018 年，Patel 在卡内基梅隆大学休假期间，提出了更准确的接触优化算法的想法。
Kemba 从静止加速到跳跃的步态。（视频所有权：开普敦大学非洲机器人研究中心）
与他交谈过后，一些科学家否定了他的想法，“不行，你这样行不通。两年前，有几个小组尝试过，都没成功。”但不管如何，Patel 还是勇敢尝试了。他后来撰写了一篇题为《Contact-Implicit Trajectory Optimization Using Orthogonal Collocation》（使用正交排列的接触隐式轨迹优化）的论文。该论文发表在了 IEEE Robotics and Automation Letters 上，成为他被引用次数最多的文章之一，并在 2020 年获得 IEEE 技术委员会关于机器人基于模型的优化最佳论文奖的亚军。
“远离其他研究中心或行业有其自身的优势，”Patel 沉思道。“我有一种逆水行舟的心态。”
远程运动捕捉系统
猎豹面临着许多威胁，正濒临灭绝。尽管猎豹的速度之快令人难以置信，但它们是胆小的掠食者，而且与食腐动物竞争猎物。气候变化、栖息地丧失、偷猎者以及与人类的冲突导致野生动物数量锐减。
该实验室与 MathWorks 建立了高度协作的关系。受 ARU 研究人员反馈的启发，Computer Vision Toolbox 和 Lidar Toolbox 引入了新的功能，这些功能将集成到机器人产品中。
Patel 说道，“育种和保护区计划有力地推动了种群数量的增加。”非洲机器人研发中心与三个猎豹中心（Cheetah Outreach、Cheetah Conservation & Research Centre 和 Ashia）展开了合作。这三个中心位于猎豹与人类和平共处的地区。
目前，用于理解人类运动的生物力学技术不能直接应用于研究野生动物。这就需要重新构想如何测量猎豹的运动。“我原先想着就买些项圈戴在猎豹身上，”他承认道。“但是，即使给动物戴上项圈，也无法获取关于其头、腿、脊椎或尾巴的信息。”
ARU 的科学家为圈养的猎豹开发了一种基于 GPS 的后置摄像头系统，该系统能够实现传感器融合，效果很好...…但是后来，猎豹不肯乖乖就范了。另一个障碍是：这些中心圈养的猎豹的移动速度为 65 公里/小时（40 英里/小时），远低于野生猎豹的移动速度，后者高达 144 公里/小时（89 英里/小时）。
“在实验室，可以将电极放在人或动物身上，测量其肌肉活动状态，但野生动物可不会让你触碰，”Patel 说道。“于是，我就有了这个疯狂的想法，那就是能够远距离测量野生动物的整个身体及骨架的运动学。”
ARU 开始与国家公园合作，将实验室带到野外。在那里，研究人员设法从全速奔跑的猎豹身上收集更多有代表性的数据。然而，在没有电极或可穿戴设备的情况下实现精细动作捕获面临着巨大的挑战。有时候，猎豹在卡格拉格帝跨境公园内行踪不定，短暂出现后随即就消失在沙丘上。
猎豹奔跑的无标记（无创）三维重建。猎豹的多个视图在二维进行标注，然后通过完整轨迹估计 (FTE) 算法进行融合，以产生三维骨架运动。（视频所有权：开普敦大学非洲机器人研究中心）
Patel 和 ARU 团队随后开发了一种使用激光雷达和望远镜镜头的远程运动捕捉系统。该系统利用多传感器融合技术，能够远距离生成三维生物力学数据。
MATLAB 工具箱对于猎豹运动的分析和建模至关重要。（图片所有权：开普敦大学非洲机器人研究中心）
MATLAB 工具箱对于三维重建等项目部分至关重要，该团队将激光雷达和摄像头信息结合使用来进行传感器融合。Control System Toolbox™ 有助于阐明猎物的运动与猎豹身体不同部位或整个身体的运动之间的输入输出关系。
“我们经常使用 Computer Vision Toolbox 进行标定，”Patel 指出。“在 MathWorks 研究峰会上，每个人都对相机标定的上佳表现赞不绝口。”他亲临马萨诸塞州的内蒂克市参加了年度峰会。在会上，他与 MathWorks 的联合创始人 Cleve Moler 进行了交谈，并发表了主题演讲。
该实验室与 MathWorks 建立了高度协作的关系。受 ARU 研究人员反馈的启发，Computer Vision Toolbox™ 和 Lidar Toolbox™ 引入了新的功能，这些功能将集成到机器人产品中。
除了猎豹，ARU 还捕获到了其他运动中的动物，包括长颈鹿、狮子和跳羚。在验证了其系统后，该团队希望向全世界推出该系统。
作为牛津大学的客座教授，Patel 在休假期间也专注于改进野外动物生命体征的测量。一些疾病可以从家养动物传染到野生动物身上，传播速度非常快，等到生态学家发现时往往为时已晚，尤其是在资源匮乏的地区。更智能、更便捷的远程监控可以提供早期预警系统。
这些远程系统也可能有益于监测人类健康状况，使临床医生能够测量患者的肌肉活动，而不必在皮肤上粘贴昂贵的电极。Patel 注意到了该系统在脊髓损伤康复和假肢安装领域的应用潜力。
运动科学家也对 ARU 荣获专利的可穿戴运动捕捉系统表示出了兴趣。该实验室的另一项专利是三维测力台系统，该经济实惠的系统有着广泛的应用前景，目前正由一家新的大学衍生公司研发。接下来，该实验室的一个小组将致力于给 Kemba 装配活动脊柱。
Patel 博士和他的团队正在研究逆最优控制和强化学习，以了解有关猎豹运动的更多信息。（图片所有权：Amir Patel）
Patel 的团队也开始探索逆强化学习和最优控制。“我们即使可以观察到猎豹的运动，仍不确定猎豹为什么会这样做，”他说道。“猎豹是想在奔跑时保留能量、增强机动性，还是想在最短时间内截获猎物？逆强化学习将帮助我们理解它尝试优化的目标。”
这些猎豹依然让他着迷。
“在读博士期间，我改变了想法，树立了研究这种动物的志向，”他说道。“13 年过去了，我依旧保持初心。”
