主要内容

本页采用了机器翻译。点击此处可查看英文原文。

集群文件系统与存储

提示

若数据存储于 Amazon S3™ 存储桶中,则可通过 MATLAB 中的数据存储直接访问该数据,无需在集群上配置任何存储空间。有关详细信息,请参阅将数据传输至 Amazon S3 存储桶,并使用 MATLAB 访问数据。创建集群时,您还可以选择以下存储选项。

本页面列出了您在 Amazon® Web Services (AWS®) 上可用于 MATLAB® Parallel Server™ 集群的不同文件存储选项。

  • 集群共享存储

    • 共享存储。一个持久化共享文件系统存储,分布于整个集群中。该文件系统还包含您的 MATLAB 作业调度程序数据库。若需申请在集群停止后仍可保留的持久化共享文件存储,请选择存储容量。共享存储器装载在 /shared/persisted。当您停止集群时,/shared/persisted 的内容将作为 EBS 快照保留在您的云帐户中。删除集群时,/shared/persisted 目录中的内容将被永久删除。详情请参阅下表。

    • 临时存储。一个临时共享文件系统,分布在集群中。要请求临时共享文件存储,主节点必须包含临时存储或 AWS 实例存储,后者可通过提供多种存储容量的 'd' 型实例获取。集群启动时,存储设备装载于 /shared/tmp。当您停止集群或集群关闭时,/shared/tmp 的内容将被清除。用于存储需要从多个工作单元访问的临时和中间数据。

    • MATLAB Drive。要访问 MATLAB Drive,您必须使用个人集群。位于 MATLAB Drive 的文件均为只读状态。您可通过在访问您的 MATLAB Drive 中的文件 (MATLAB)执行相应步骤,访问装载点 /MATLAB Drive 中的 MATLAB 驱动文件。

  • 本地计算机存储

    • 临时存储:此类存储仅适用于名称中包含字母 "d" 的实例类型,例如 m5ad.24xlarge。每个临时存储设备(NVMe SSD)装载于 /mnt/localnvmeN,其中 N 的取值范围从零到临时存储设备总数减一。例如,/mnt/localnvme1 对应第二个临时存储设备。额外的 EBS 卷已装载至 /mnt/localebsN。实例存储的可用性和大小因所选的 EC2 实例类型而异。请将此存储用于临时、实例特定的数据处理,而非持久化数据存储。

选择存储选项后,请点击 Create Cluster。有关其他集群设置的详细信息,请参阅创建一个云集群。

所有工作单元均可访问本地存储和集群共享存储。您可以使用这些文件夹来存储作业生成的数据,以及在集群与客户端位置之间传输的数据。请参阅将数据传输到 Cloud Center 或从 Cloud Center 集群传输数据。集群中所有工作机器的路径均相同。位于 /mnt/localebsN 下的文件和文件夹的更改对其他计算机不可见。位于 /shared 装载点下的文件和文件夹由集群中的所有工作单元共享。任何机器所做的更改对所有其他机器都是可见的。每个文件夹的寿命各不相同,具体如表所示。

位置大小用法
/MATLAB Drive取决于您的 MATLAB 许可证。有关更多信息,请参阅 MATLAB Drive™ 存储配额 (MATLAB)

在创建集群时选择个人集群时启用。

在工作单元上实现只读文件系统。

/shared/persisted在集群创建时指定

集群共享持久化存储和 MATLAB 作业调度器(MJS)数据的位置。此文件夹在工作单元间共享,并在集群运行期间保持。将您希望在下次启动集群时恢复的数据,保存在 /shared/persisted 目录下的文件夹和文件中。

由于在停止或重启集群时,/shared/persisted 中的内容会被保留,因此 MJS 数据和历史记录会在集群运行间隔期间保存在此位置。如果集群未启用 /shared/persisted,则 MJS 数据和历史记录仅保存在主节点本地文件系统中的独立数据卷中。

当集群被删除时,该项也将被删除。

/shared/tmp取决于实例类型,仅当主节点是具有临时存储(实例存储)的实例时可用。

此文件夹在工作单元间共享,并且不会在集群运行之间保留。用于存储必须在多个工作机器上可见或可访问的临时和中间数据。可用存储空间取决于所选机器实例类型上可用的临时存储空间。

集群停止时删除。

/mnt/localebs0100 GB此装载点仅在未启用 /shared/persisted 时创建,且仅在主节点上可用,用于存储 MATLAB 作业调度程序的数据和历史记录。数据在集群重启之间得以保留。
/mnt/localnvmeN在集群配置中指定

仅在名称中包含字母 "d" 的实例类型上可用且自动启用,例如 m5ad.24xlarge。此存储卷由临时存储提供支持。每个临时存储设备(NVMe SSD)装载于 /mnt/localnvmeN,其中 N 的取值范围从零到临时存储设备总数减一。例如,/mnt/localdata1 对应第二个临时存储设备。

注意:

  • 文件共享仅在同一集群内的机器之间启用,不同集群的机器之间不支持文件共享。

  • 您可独立于本地 MATLAB 会话(包括从本地桌面运行的 MATLAB 或在 MATLAB Online 中的 MATLAB 会话)创建、启动、停止及删除云集群。删除 MATLAB 中的关联集群对象不会影响云集群及其存储。

  • 当集群超时后,它将关闭并清除根操作系统卷、/shared/tmp/mnt/localdataN 中的内容,但保留 /shared/persisted 中的内容。若为集群启用了自动关机设置,请确保在超时发生前已从 /shared/tmp/mnt/localdata/mnt/localdataN 中获取所需的所有数据。

  • /shared/tmp 的内容是使用临时存储(AWS 实例存储)构建的。

另请参阅

主题