爱沙尼亚塔林理工大学用数字孪生和扩展现实增强实操、远程和虚拟控制工程实验
作者 Saleh Alsaleh 和 Aleksei Tepljakov，塔林理工大学
控制设计是机械、电气、流体、化学和生物等多种工程学科的一项基本技能。因此，控制设计已成为全球各地工程专业核心课程的常设内容。与许多工程科目一样，教师很早就认识到实操实验工作和试验的必要性。它们以将学生在工程的各个领域（包括控制理论）学到的理论概念与其实际应用联系起来。
亲手操作的实验固然可以吸引学生，可以让他们对控制概念有更深入、更直观的理解，但其也有缺点。首先，其扩展性不佳；实验室设备（例如，起重机、充满液体的箱体或操作臂）通常需要相当大的工作区域。设备的购买和维护成本也很高。因此，许多院校没有足够的设备来适应不断增长的课堂规模，给学生带来了时间安排上的麻烦以及很长的等待时间。其次，实操实验对远程学习的学生来说是不可用的，这一点在疫情期间尤为明显。
在塔林理工大学，我们的团队开发了 ReImagine Lab 框架来应对这些挑战。该框架将使用 MATLAB® 和 Simulink® 构建的数字孪生与扩展现实技术相结合，以简化实操、虚拟和远程实验室设置的开发和运营（图 1）。与使用和实验室设备实时同步的数字孪生的远程实验室不同，虚拟实验室使用的数字孪生独立于实际设备。因此，虚拟实验室具有更高的可扩展性，可以支持大量学生，尤其是当虚拟环境托管在云中时。重要的是，由虚拟现实或增强现实设备支持的扩展现实为学生提供身临其境、引人入胜的体验，他们可以在其中可视化数字孪生并与之交互（图 2）。
图 1. ReImagine Lab 框架包括物理实验室资产、该资产的数字孪生和扩展现实设备。
图 2. 箱体系统及其数字孪生的增强现实视图。
ReImagine Lab 框架基础知识
ReImagine Lab 框架的核心是数字孪生，它基于真实实验室资产（例如龙门起重机）的数据驱动数学模型。为了创建底层数学模型，我们使用了黑盒方法将试验数据对模型进行拟合。我们也可以使用灰箱方法，其中模型的部分由物理定律推导而来，并表示为具有参数的常微分方程 (ODE) 方程组。其中参数之后会根据试验数据进行估计（图 3）。这两种方法均使用 MATLAB 和 System Identification Toolbox™ 来定义模型，并根据我们从实际系统中采集的数据执行参数估计。
图 3. 用于创建数字孪生的黑盒和灰盒方法。
我们使用 Instrument Control Toolbox™ 模块将辨识的数学模型集成到 Simulink 中，以便通过 UDP 进行实时数据通信。这让我们可以与资产在 Unreal Engine® 中的三维模型进行通信，以便在扩展现实环境中进行可视化（图 4）。
图 4. MATLAB 与 Simulink 环境和 Unreal Engine 之间的 UDP 通信。
教学用例示例
了解 ReImagine Lab 框架工作原理的最佳途径是按照使用该框架实现的示例用例进行操作。
在此示例中，学生团队的任务是开发龙门起重机的控制系统。此设备也可称为三维起重机，包括可移动的轨道、沿轨道移动的天车和悬挂在天车上的有效负载（图 5）。两个编码传感器用于确定轨道和天车的位置，另外两个传感器用于测量有效负载的摆动角度。学生的目标是设计一个控制器，以尽可能快地将有效负载移至期望的位置，同时将摆动角度保持为最小。
图 5. 真实的龙门起重机（左），起重机的物理模型图（中），以及基于虚拟现实的起重机表示（右）。
实验作业的第一部分需要每个学生团队创建自己的起重机数学模型。他们首先在起重机移动时对其进行测量（包括其摆动角度）。一个团队可能测量实际起重机，而其他团队在远程环境中通过与数字孪生交互进行测量或者在完全虚拟的环境中独立进行测量（图 6）。基于这些测量值，这些团队使用 MATLAB 和 System Identification Toolbox 创建起重机的被控对象模型。我们要求学生创建线性模型而不是更复杂的非线性动力学模型，同时也会帮助他们了解在简易性和准确度之间进行权衡的原理。
在创建被控对象模型后，学生会使用 Simulink 和 Simulink Control Design™ 构建一个控制器模型。该控制器模型通常包含四个比例、积分和导数 (PID) 回路：一个回路用于轨道位置，一个回路用于天车位置，两个回路用于摆动角度（图 6）。
图 6. 龙门起重机的 Simulink 控制器模型。
学生在 Simulink 中运行闭环仿真来测试和调节他们创建的控制器。然后，他们对照数字孪生进行测试，与虚拟现实环境中的仿真进行交互。当以远程或虚拟方式工作的学生团队可以接触到真实的起重机时，他们可以通过使用 Simulink Desktop Real-Time™ 在连接到起重机传感器和作动器的 PC 上实时运行其 Simulink 控制器模型，查看其设计在实验室设备上的表现。
需要强调的是，ReImagine Lab 框架不仅限于通过虚拟现实构建三维起重机。我们使用增强现实和虚拟现实构建了各种数字孪生（图 7）。例如，学生使用 Microsoft® HoloLens 头显与图 2 所示的箱体数字孪生交互。在增强现实环境中，学生可以看到物理系统和数字孪生、控制回路图以及实时更新的图表（图 8）。事实上，学生可以在该环境中通过用手调整虚拟球体的大小来直接调整控制器增益（图 9）。
图 7. 在虚拟现实环境中与多箱体系统的数字孪生交互。
图 8. 增强现实中的箱体系统控制试验。
图 9. 在增强现实环境中动态调节控制器增益。
后续步骤
我们的团队正在继续开发和改进 ReImagine Lab 框架。作为这项工作的一部分，我们最近在塔林理工大学开展了系统可用性研究。该项研究的参与者对虚拟现实体验的评价高于标准的桌面仿真。“参与此项目的经历既充实又愉快。数字实验室提供了一种独特而便捷的方式，可让我们更深入地了解控制系统及其组成过程，”塔林理工大学的应届毕业生 Stanislav Jersov 说。“我坚信我们的工作只是混合现实数字孪生的先河，我对它们在教学和其他领域的潜力感到兴奋。”
不过，学生也提供了关于可用性的反馈，我们当前正在解决相关问题。一些用户发现，在虚拟现实环境中与数字孪生交互的控制功能不够直观。我们也一直在探索如何让体验更具身临其境的效果。例如，作为一篇硕士论文的一部分，塔林理工大学的一名学生增大了数字孪生起重机的大小以便用户在虚拟现实中走进其中，并添加音频以模拟机械设备移动时发出的机械声音。这些增加的效果非常有用，因为用户有时会快速移动以避开摇摆的虚拟有效负载。
我们还在继续增加不同类型的实验室试验。目前我们有八个不同的试验，包括三维起重机、箱体系统、倒立摆和磁悬浮系统。最后，除了将 ReImagine Lab 框架更全面地集成到我们的工程课程中，我们还在探索使用自动代码生成将 MATLAB 和 Simulink 模型直接部署到虚拟现实设备的方法。
2023 年发布
