本页对应的英文页面已更新,但尚未翻译。 若要查看最新内容,请点击此处访问英文页面。

通过并行计算和云进行深度学习

在本地使用多个 GPU 或在云中扩展深度学习,并以交互方式或批处理作业的形式训练多个网络

使用 Parallel Computing Toolbox™ 在多个 GPU、群集和云中训练深度网络。在本地使用多个 GPU 或在云中扩展深度学习,并以交互方式或批处理作业的形式训练多个网络。要了解有关选项的信息,请参阅Scale Up Deep Learning in Parallel and in the Cloud

主题

Deep Learning with Big Data on GPUs and in Parallel

Train deep networks on CPUs, GPUs, clusters, and clouds, and tune options to suit your hardware.

Scale Up Deep Learning in Parallel and in the Cloud

Options for deep learning with MATLAB using multiple GPUs, locally or in the cloud.

Deep Learning with MATLAB on Multiple GPUs

Specify multiple GPUs to use locally or in the cloud for training.

使用 parfor 训练多个深度学习网络

此示例说明如何使用 parfor 循环对训练选项执行参数扫描。深度学习训练通常需要几小时或几天,搜寻良好的训练选项可能很困难。您可以使用并行计算来加快搜寻的速度并实现自动化。如果您有使用多个 GPU 的计算机,则可以使用本地的 parpool 对本地的数据集副本运行此脚本。如果要使用更多资源,可以将深度学习训练扩展到云。此示例说明如何使用 parfor 循环在云群集中对训练选项 MiniBatchSize 执行参数扫描。您可以修改此脚本,以对其他任何训练选项执行参数扫描。此外,此示例还说明如何使用 DataQueue. 在计算期间从工作进程获取反馈。您还可以将此脚本作为批处理作业发送给群集,这样您可以继续工作或者关闭 MATLAB,以后再获取结果。有关详细信息,请参阅将深度学习批处理作业发送到群集。

使用 parfeval 训练多个深度学习网络

此示例说明如何使用 parfeval 对网络架构的深度进行参数扫描。深度学习训练通常需要几小时或几天,搜寻良好的架构可能很困难。您可以使用并行计算来加快搜寻的速度并实现自动化。如果您有使用多个 GPU 的计算机,则可以使用本地的 parpool 对本地的数据集副本运行此脚本。如果要使用更多资源,可以将深度学习训练扩展到云。此示例说明如何使用 parfeval 在云群集中对网络架构的深度执行参数扫描。使用 parfeval 可以在后台进行训练而不会阻止 MATLAB,并提供可在结果足够好时提前停止训练的选项。您可以修改此脚本,以对其他任何参数执行参数扫描。此外,此示例还说明如何在计算期间使用 DataQueue 从工作进程获取反馈。

将深度学习数据上传到云

此示例说明如何将数据上传到 Amazon S3 存储桶。您需要将数据上传到云,才能在云中执行深度学习训练。此示例说明如何将 CIFAR-10 数据集下载到计算机上,然后将数据上传到 Amazon S3 存储桶,便于以后在 MATLAB 中使用。CIFAR-10 数据集是一个带标签的图像数据集,常用于对图像分类算法进行基准测试。在运行此示例之前,您需要 Amazon Web Services (AWS) 帐户的访问权限。将数据集上传到 Amazon S3 后,您可以尝试通过并行计算和云进行深度学习中的任一示例。

将深度学习批处理作业发送到群集

此示例说明如何将深度学习训练批处理作业发送到群集,以便您可以在训练过程中继续工作或者关闭 MATLAB。训练深度神经网络通常需要花费很多时间。此示例说明如何以批处理作业的形式训练神经网络,并在得出结果后从群集中获取结果。您可以通过编程方式等待作业完成,或者关闭 MATLAB,在以后使用 Job Monitor 获取结果。此示例以批处理作业的形式发送使用 parfor 训练多个深度学习网络中的并行参数扫描。作业完成后,您可以获取经过训练的网络并比较其准确度。

特色示例