集群文件系统与存储
提示
若数据存储于 Amazon S3™ 存储桶中,则可通过 MATLAB 中的数据存储直接访问该数据,无需在集群上配置任何存储空间。有关详细信息,请参阅将数据传输至 Amazon S3 存储桶,并使用 MATLAB 访问数据。创建集群时,您还可以选择以下存储选项。
本页面列出了您在 Amazon® Web Services (AWS®) 上可用于 MATLAB® Parallel Server™ 集群的不同文件存储选项。
集群共享存储
共享存储。一个持久化共享文件系统存储,分布于整个集群中。该文件系统还包含您的 MATLAB 作业调度程序数据库。若需申请在集群停止后仍可保留的持久化共享文件存储,请选择存储容量。共享存储器装载在
/shared/persisted。当您停止集群时,/shared/persisted的内容将作为 EBS 快照保留在您的云帐户中。删除集群时,/shared/persisted 目录中的内容将被永久删除。详情请参阅下表。临时存储。一个临时共享文件系统,分布在集群中。要请求临时共享文件存储,主节点必须包含临时存储或 AWS 实例存储,后者可通过提供多种存储容量的 'd' 型实例获取。集群启动时,存储设备装载于
/shared/tmp。当您停止集群或集群关闭时,/shared/tmp的内容将被清除。用于存储需要从多个工作单元访问的临时和中间数据。MATLAB Drive。要访问 MATLAB Drive,您必须使用个人集群。位于 MATLAB Drive 的文件均为只读状态。您可通过在访问您的 MATLAB Drive 中的文件 (MATLAB)执行相应步骤,访问装载点
/MATLAB Drive中的 MATLAB 驱动文件。
本地计算机存储
临时存储:此类存储仅适用于名称中包含字母 "d" 的实例类型,例如 m5ad.24xlarge。每个临时存储设备(NVMe SSD)装载于
/mnt/localnvmeN,其中N的取值范围从零到临时存储设备总数减一。例如,/mnt/localnvme1对应第二个临时存储设备。额外的 EBS 卷已装载至/mnt/localebsN。实例存储的可用性和大小因所选的 EC2 实例类型而异。请将此存储用于临时、实例特定的数据处理,而非持久化数据存储。
选择存储选项后,请点击 Create Cluster。有关其他集群设置的详细信息,请参阅创建一个云集群。。
所有工作单元均可访问本地存储和集群共享存储。您可以使用这些文件夹来存储作业生成的数据,以及在集群与客户端位置之间传输的数据。请参阅将数据传输到 Cloud Center 或从 Cloud Center 集群传输数据。集群中所有工作机器的路径均相同。位于 /mnt/localebsN 下的文件和文件夹的更改对其他计算机不可见。位于 /shared 装载点下的文件和文件夹由集群中的所有工作单元共享。任何机器所做的更改对所有其他机器都是可见的。每个文件夹的寿命各不相同,具体如表所示。
| 位置 | 大小 | 用法 |
|---|---|---|
/MATLAB Drive | 取决于您的 MATLAB 许可证。有关更多信息,请参阅 MATLAB Drive™ 存储配额 (MATLAB)。 | 在创建集群时选择个人集群时启用。 在工作单元上实现只读文件系统。 |
/shared/persisted | 在集群创建时指定 | 集群共享持久化存储和 MATLAB 作业调度器(MJS)数据的位置。此文件夹在工作单元间共享,并在集群运行期间保持。将您希望在下次启动集群时恢复的数据,保存在 由于在停止或重启集群时, 当集群被删除时,该项也将被删除。 |
/shared/tmp | 取决于实例类型,仅当主节点是具有临时存储(实例存储)的实例时可用。 | 此文件夹在工作单元间共享,并且不会在集群运行之间保留。用于存储必须在多个工作机器上可见或可访问的临时和中间数据。可用存储空间取决于所选机器实例类型上可用的临时存储空间。 集群停止时删除。 |
/mnt/localebs0 | 100 GB | 此装载点仅在未启用 /shared/persisted 时创建,且仅在主节点上可用,用于存储 MATLAB 作业调度程序的数据和历史记录。数据在集群重启之间得以保留。 |
/mnt/localnvmeN | 在集群配置中指定 | 仅在名称中包含字母 "d" 的实例类型上可用且自动启用,例如 m5ad.24xlarge。此存储卷由临时存储提供支持。每个临时存储设备(NVMe SSD)装载于 |
注意:
文件共享仅在同一集群内的机器之间启用,不同集群的机器之间不支持文件共享。
您可独立于本地 MATLAB 会话(包括从本地桌面运行的 MATLAB 或在 MATLAB Online 中的 MATLAB 会话)创建、启动、停止及删除云集群。删除 MATLAB 中的关联集群对象不会影响云集群及其存储。
当集群超时后,它将关闭并清除根操作系统卷、
/shared/tmp和/mnt/localdataN中的内容,但保留/shared/persisted中的内容。若为集群启用了自动关机设置,请确保在超时发生前已从/shared/tmp、/mnt/localdata和/mnt/localdataN中获取所需的所有数据。/shared/tmp的内容是使用临时存储(AWS 实例存储)构建的。