作者 Johanna Pingel
在本专栏中,我们将讨论预训练模型。有很多模型可供选择,因此也有很多考虑事项。
这次的专栏与以往稍有不同。我要回答的问题全部源于 MathWorks 社区论坛的问题。我会首先总结 MATLAB Answers 上的回答,然后基于问题提出问题:大家为什么会问这些问题?
因此,本专栏将介绍如何选择预训练模型、如何确定是否作出了正确的选择,并回答关于预训练模型的三个问题:
选择预训练模型
可供选择的模型非常多,而且只会越来越多。这当然带来很多便利,但也有些令人望而生畏:我们该如何挑选,又如何确定是否作出了正确的选择?
与其把所有预训练模型放在一起考虑,我们不妨将它们分成几类。
基本模型
这些模型架构简单,可以轻松上手。这些模型通常层数较少,支持预处理和训练选项的快速迭代。一旦掌握了训练模型的方法,就可以开始尝试改善结果。
尝试这些模型:GoogLeNet、VGG-16、VGG-19 和 AlexNet
![Basic Models](https://ww2.mathworks.cn/campaigns/offers/next/all-about-pretrained-models/_jcr_content/mainParsys/band_1524252258_copy/mainParsys/columns/d2377dd6-652c-481e-b811-53376c369f45/image.adapt.full.medium.jpg/1721307222796.jpg)
![Higher-accuracy models](https://ww2.mathworks.cn/campaigns/offers/next/all-about-pretrained-models/_jcr_content/mainParsys/band_1524252258_copy/mainParsys/columns_copy/6746aaf6-1f28-4b6e-9bda-205a5c391637/image.adapt.full.medium.jpg/1721307222851.jpg)
高准确度模型
这些模型适用于基于图像的工作流,如图像分类、目标检测和语义分割。大多数网络,包括上述基本模型,都属于此类别。与基本模型的区别在于,高准确度模型可能需要更多训练时间,网络结构更复杂。
尝试这些模型:ResNet-50、Inception-v3、Densenet-201、
目标检测工作流。一般推荐基于 DarkNet-19 和 DarkNet-53 创建检测和 YOLO 类型工作流。我也见过 ResNet-50 加 Faster R-CNN 的组合,因此多少有一些选择余地。我们将在之后的问题中进一步讨论目标检测。
语义分割。您可以选择一个网络并将其转换为语义分割网络。也有一些专门的 Segnet 结构,如 segnetLayers
和 unetLayers
。
适合边缘部署的模型
当部署到硬件时,模型大小变得尤为重要。此类模型内存占用量较小,适合 Raspberry Pi™ 等嵌入式设备。
尝试这些模型:SqueezeNet、MobileNet-v2、ShuffLeNet、NASNetMobile
![Models for Edge Deployment](https://ww2.mathworks.cn/campaigns/offers/next/all-about-pretrained-models/_jcr_content/mainParsys/band_1524252258_copy/mainParsys/columns_copy_268641788/f16e6ee9-dc61-4841-b9b8-af9f9b57b286/image.adapt.full.medium.jpg/1721307222906.jpg)
以上只是一些常规原则,为模型选择提供基本思路。我将从第一类模型入手,之后如果需要,再选择更复杂的模型。我个人觉得 AlexNet 是一个不错的起点。它的架构非常容易理解,性能表现通常也不错,当然也取决于具体问题。
选择模型时,如何确定是否作出了正确的选择?
对于您的任务来说,合适的模型可能不止一个。只要模型的准确度能满足给定任务的需求,就是一个可接受的模型。至于多高的准确度意味着“可接受”,则可能视应用不同而差异极大。例如,购物时 Google 推荐商品出错不是什么大事,但暴风雪漏报后果就很严重。
针对您的应用尝试各种预训练网络,方能确保获得最准确和最稳健的模型。当然,要实现一个成功的应用,网络架构只是众多因素之一。
要查看最新的预训练模型,请前往 MATLAB Github 页。
问题 1
训练网络时,应操作数据大小还是模型输入大小?
此问题来自论坛提问“如何在预训练模型中使用灰度图像”和“如何更改预训练模型的输入大小”。
首先快速回顾一下模型数据输入的相关知识。
所有预训练模型都有一个预期,即需要什么样的输入数据结构,才能重新训练网络或基于新数据进行预测。如果数据与模型预期不符,您就可能提出这些问题。
这就带来了一个有趣的问题:是要操作数据,还是操作模型?
最简单的方法是更改数据。这很简单:只需调整数据的大小,就可以操作数据输入的大小。在 MATLAB® 中,使用 imresize
命令就能做到。灰度问题也变得很简单。
彩色图像通常采用 RGB 形式,包含三个层,分别表示红、绿、蓝三个颜色平面。灰度图像则只包含一个层而不是三个层。只需重复灰度图像的单个层,就可以创建网络所期望的输入结构,原理如下图所示。
![all about pretrained models greyscale image](https://ww2.mathworks.cn/campaigns/offers/next/all-about-pretrained-models/_jcr_content/mainParsys/band_431386409_copy/mainParsys/image.adapt.full.medium.jpg/1721307223098.jpg)
这是一张色彩非常丰富的图像,可以看到,三个 RGB 平面看起来就像三张灰度图像,它们组合在一起形成一张彩色图像。
稍微复杂一点的方法是更改模型。为什么要大费周章地操作模型而不是数据?
因为现有的输入数据决定了只能这样做。
假设您的图像是 1000×1000 像素,您的模型接受 10×10 像素大小的图像。如果您将图像调整到 10×10 像素,就只能得到一张充满噪声的输入图像。在这种情况下,您需要更改模型的输入层,而不是输入。
图像大小:1000×1000 像素
图像大小:10×10 像素
![1000x1000px](https://ww2.mathworks.cn/campaigns/offers/next/all-about-pretrained-models/_jcr_content/mainParsys/band_431386409_copy/mainParsys/columns_copy/23db5093-95f2-4f62-9cc9-762d092c213a/image.adapt.full.medium.jpg/1721307223201.jpg)
![10x10px](https://ww2.mathworks.cn/campaigns/offers/next/all-about-pretrained-models/_jcr_content/mainParsys/band_431386409_copy/mainParsys/columns_copy/a465c184-9ce1-4680-b141-0d9e98532377/image_copy.adapt.full.medium.jpg/1721307223211.jpg)
问题 2
为什么要在 MATLAB 中导入经过预训练的 YOLO 模型?
此问题源于基于 COCO 数据集训练 YOLO v3,答案很明确。背景并不复杂。
此示例介绍如何使用 ResNet-50 训练 YOLO v2 网络以在 MATLAB 中使用。
YOLO 是“you only look once”的缩写。该算法有多个版本,相对于 v2,v3 改进了定位较小对象的功能。YOLO 从一个特征提取网络(使用预训练模型,如 ResNet-50 或 DarkNet-19)开始,然后进行定位。
值得探索的目标检测应用有很多,不过我强烈建议从简单的目标检测示例开始,以此为基础逐步推进。
问题 3
为什么要冻结预训练模型的权重?
此问题源自如何冻结神经网络模型的特定权重?要回答此问题,我们先看一小段代码。
导入预训练网络后,您可以选择通过以下方式冻结权重:
冻结所有初始层:
layers(1:10) = freezeWeights(layers(1:10));
冻结单个层:
layer.WeightLearnRateFactor = 0;
冻结所有允许冻结的层:
function layers = freezeWeights(layers) for ii = 1:size(layers,1) props = properties(layers(ii)); for p = 1:numel(props) propName = props{p}; if ~isempty(regexp(propName, 'LearnRateFactor$', 'once')) layers(ii).(propName) = 0; end end end end
如果该层有 LearnRateFactor
,则将其设置为零。其他层保持不变。
冻结权重有两个好处,即您可以:
- 加快训练速度。由于不需要计算已冻结层的梯度,因此冻结多个初始层的权重可以显著加快网络训练速度。
- 防止过拟合。如果新数据集很小,冻结较浅的网络层可以防止这些层对新数据集过拟合。
实际上,您也可以将一个预训练模型的权重应用于您的模型,这样不经训练也能创建一个“经过训练的”网络。查看 MATLAB 中 assembleNetwork
的说明,了解如何不经训练直接基于层创建深度学习网络。
最后,说到权重,对于类分布不平衡的分类问题,可以使用加权分类输出层。请参考关于使用自定义加权分类层的示例。