Main Content

本页对应的英文页面已更新,但尚未翻译。 若要查看最新内容,请点击此处访问英文页面。

迁移学习快速入门

此示例说明如何使用迁移学习来重新训练 SqueezeNet(一种预训练卷积神经网络)以对新图像集进行分类。尝试此示例以了解在 MATLAB® 中进行深度学习有多么简单。

深度学习应用中常常用到迁移学习。您可以采用预训练的网络,基于它学习新任务。与使用随机初始化的权重从头训练网络相比,通过迁移学习微调网络要更快更简单。您可以使用较少数量的训练图像快速地将已学习的特征迁移到新任务。

提取数据

在工作区中,提取 MathWorks Merch 数据集。这是包含 75 幅 MathWorks 商品图像的小型数据集,这些商品分属五个不同类(瓶盖魔方扑克牌螺丝刀手电筒)。

unzip("MerchData.zip");

加载预训练网络

打开 Deep Network Designer。

deepNetworkDesigner

从预训练网络列表中选择 SqueezeNet,然后点击打开

Deep Network Designer 将显示整个网络的缩小视图。

浏览网络图。要使用鼠标放大,请使用 Ctrl + 滚轮。要平移,请使用箭头键,或按住滚轮并拖动鼠标。选择一个层以查看其属性。取消选择所有层,以在属性窗格中查看网络摘要。

导入数据

要将数据加载到 Deep Network Designer 中,请在数据选项卡上点击导入数据。将打开“导入数据”对话框。

数据源列表中,选择文件夹。点击浏览并选择提取的 MerchData 文件夹。

将数据分为 70% 用作训练数据,30% 用作验证数据。

指定要对训练图像执行的增强操作。数据增强有助于防止网络过拟合和记忆训练图像的具体细节。对于此示例,在 x 轴上进行随机翻转,在 [-90,90] 度范围内进行随机旋转,在 [1,2] 范围内进行随机重新缩放。

点击导入将数据导入 Deep Network Designer。

编辑迁移学习网络

要重新训练 SqueezeNet 以对新图像进行分类,请替换网络的最后一个二维卷积层和最终分类层。在 SqueezeNet 中,这两个层的名称分别为 'conv10''ClassificationLayer_predictions'

Designer 窗格上,将一个新的 convolutional2dLayer 拖到画布上。要匹配原始卷积层,请将 FilterSize 设置为 1,1。将 NumFilters 编辑为新数据中的类数,此示例中为 5

通过将 WeightLearnRateFactorBiasLearnRateFactor 设置为 10,更改学习率,使新层中的学习速度快于迁移层的学习速度。

删除最后一个二维卷积层,改为连接新层。

替换输出层。滚动到网络层库的末尾,将一个新的 classificationLayer 拖到画布上。删除原始输出层,并在其位置连接新层。

训练网络

要选择训练选项,请选择训练选项卡,然后点击训练选项。将 InitialLearnRate 设置为较小的值以减慢迁移层中的学习速度。在上一步中,您增大了二维卷积层的学习率因子,以加快新的最终层中的学习速度。这种学习率设置组合只会加快新层中的学习速度,对于其他层则会减慢学习速度。

对于此示例,请将 InitialLearnRate 设置为 0.0001,将 ValidationFrequency 设置为 5,将 MaxEpochs 设置为 8。由于有 55 个观测值,因此将 MiniBatchSize 设置为 11 以平均划分训练数据,并确保在每轮训练期间都用到整个数据集。

要使用指定的训练选项训练网络,请点击关闭,然后点击训练

Deep Network Designer 允许您可视化和监控训练进度。然后,如果需要,您可以编辑训练选项并重新训练网络。

导出结果并生成 MATLAB 代码

要导出训练结果,请在训练选项卡上选择导出 > 导出经过训练的网络和结果。Deep Network Designer 将经过训练的网络导出为变量 trainedNetwork_1,将训练信息导出为变量 trainInfoStruct_1

您也可以生成 MATLAB 代码,它可以重新创建所使用的网络和训练选项。在训练选项卡上,选择导出 > 生成训练代码。查看 MATLAB 代码,了解如何以编程方式准备训练数据、创建网络架构和训练网络。

对新图像进行分类

加载一个新图像以使用经过训练的网络对其进行分类。

I = imread("MerchDataTest.jpg");

调整测试图像的大小以匹配网络输入大小。

I = imresize(I, [227 227]);

使用经过训练的网络对测试图像进行分类。

[YPred,probs] = classify(trainedNetwork_1,I);
imshow(I)
label = YPred;
title(string(label) + ", " + num2str(100*max(probs),3) + "%");

参考

[1] Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. "ImageNet Classification with Deep Convolutional Neural Networks." Advances in neural information processing systems. 2012.

[2] BVLC AlexNet Model. https://github.com/BVLC/caffe/tree/master/models/bvlc_alexnet

另请参阅

| | |

相关主题