使用 GoogLeNet 的 Deep Dream 图像
此示例说明如何使用 deepDreamImage
和预训练卷积神经网络 GoogLeNet 生成图像。
Deep Dream 是深度学习中的一种特征可视化方法,它会合成可强烈激活网络层的图像。通过可视化这些图像,您可以突出显示通过网络学习到的图像特征。这些图像有助于了解和诊断网络行为。
您可以通过可视化接近网络末尾的层的特征来生成有趣的图像。
该示例使用 Deep Learning Toolbox™ 和 Deep Learning Toolbox Model for GoogLeNet Network 生成图像。
加载预训练网络
加载预训练的 GoogLeNet 网络。如果未安装 Deep Learning Toolbox Model for GoogLeNet Network 支持包,则软件会提供下载链接。
net = googlenet;
生成图像
要生成与给定类最相似的图像,请选择全连接层。首先,使用 analyzeNetwork
查看网络架构,找到此层的层索引。
analyzeNetwork(net)
然后选择全连接层,在此示例中为 142。
layer = 142; layerName = net.Layers(layer).Name
layerName = 'loss3-classifier'
通过选择多个类,您可以一次生成多个图像。通过将 channels
设置为这些类名称的索引,选择要可视化的类。
channels = [114 293 341 484 563 950];
这些类存储在输出层(最后一层)的 Classes
属性中。您可以通过选择 channels
中的条目来查看所选类的名称。
net.Layers(end).Classes(channels)
ans = 6×1 categorical
snail
tiger
zebra
castle
fountain
strawberry
使用 deepDreamImage
生成图像。如果存在兼容的 GPU,此命令会使用 GPU。否则将使用 CPU。使用 GPU 需要 Parallel Computing Toolbox™ 和支持的 GPU 设备。有关受支持设备的信息,请参阅GPU Computing Requirements (Parallel Computing Toolbox)。
I = deepDreamImage(net,layerName,channels);
|==============================================| | Iteration | Activation | Pyramid Level | | | Strength | | |==============================================| | 1 | 0.01 | 1 | | 2 | 1.47 | 1 | | 3 | 3.63 | 1 | | 4 | 7.24 | 1 | | 5 | 10.63 | 1 | | 6 | 15.78 | 1 | | 7 | 19.05 | 1 | | 8 | 24.21 | 1 | | 9 | 27.25 | 1 | | 10 | 29.49 | 1 | | 1 | 7.93 | 2 | | 2 | 10.10 | 2 | | 3 | 14.41 | 2 | | 4 | 20.48 | 2 | | 5 | 17.10 | 2 | | 6 | 23.32 | 2 | | 7 | 27.97 | 2 | | 8 | 25.79 | 2 | | 9 | 30.26 | 2 | | 10 | 35.68 | 2 | | 1 | 33.57 | 3 | | 2 | 42.50 | 3 | | 3 | 49.39 | 3 | | 4 | 58.22 | 3 | | 5 | 58.82 | 3 | | 6 | 52.32 | 3 | | 7 | 67.45 | 3 | | 8 | 68.73 | 3 | | 9 | 75.19 | 3 | | 10 | 68.91 | 3 | |==============================================| Training finished: Max epochs completed.
使用 imtile
一起显示所有图像。
figure I = imtile(I); imshow(I)
生成更详细的图像
增加金字塔等级数和每个金字塔等级的迭代次数可以生成更详细的图像,但代价是额外计算。
您可以使用 'NumIterations'
选项增加迭代次数。将迭代次数设置为 100。
iterations = 100;
生成强烈激活 'tiger' 类(通道 293)的详细图像。将 'Verbose'
设置为 false 以隐藏优化过程的详细信息。
channels = 293; I = deepDreamImage(net,layerName,channels, ... 'Verbose',false, ... 'NumIterations',iterations); figure imshow(I)
要生成更大、更详细的输出图像,您可以增加金字塔层级的数量和每个金字塔层级的迭代次数。
将金字塔层级数设置为 4。
levels = 4;
生成一个详细图像,该图像强烈激活 'castle' 类(通道 484)。
channels = 484; I = deepDreamImage(net,layerName,channels, ... 'Verbose',false, ... 'NumIterations',iterations, ... 'PyramidLevels',levels); figure imshow(I)
另请参阅
googlenet
| deepDreamImage
| occlusionSensitivity
| imageLIME
| gradCAM