leakyReluLayer

泄露修正线性单元 (ReLU) 层

全页展开

说明

泄漏 ReLU 层执行阈值运算，其中小于零的任何输入值都乘以固定标量。

此运算等效于：

f(x)={x,x≥0scale*x,x<0.

创建对象

语法

layer = leakyReluLayer
layer = leakyReluLayer(scale)
layer = leakyReluLayer(___,'Name',Name)

描述

layer = leakyReluLayer 返回一个泄漏 ReLU 层。

layer = leakyReluLayer(scale) 返回一个泄漏 ReLU 层，其负输入的标量乘数等于 scale。

layer = leakyReluLayer(___,'Name',Name) 返回一个泄漏 ReLU 层并设置可选 Name 属性。

示例

属性

全部展开

泄漏 ReLU

负输入值的标量乘数，指定为有限实数标量。

示例: 0.4

层

层名称，指定为字符向量或字符串标量。对于 Layer 数组输入，trainnet 和 dlnetwork 函数会自动为未命名层指定名称。

LeakyReLULayer 对象将此属性存储为字符向量。

数据类型: char | string

此 属性 为只读。

层的输入数，存储为 1。此层只接受一个输入。

数据类型: double

此 属性 为只读。

输入名称，存储为 {'in'}。此层只接受一个输入。

数据类型: cell

此 属性 为只读。

层的输出数，存储为 1。此层只有一个输出。

数据类型: double

此 属性 为只读。

输出名称，存储为 {'out'}。此层只有一个输出。

数据类型: cell

示例

全部折叠

打开实时脚本

创建一个名为 'leaky1' 的泄漏 ReLU 层，其负输入的标量乘数等于 0.1。

layer = leakyReluLayer(0.1,'Name','leaky1')
layer = 
  LeakyReLULayer with properties:

     Name: 'leaky1'

   Hyperparameters
    Scale: 0.1000

在 Layer 数组中包含一个泄露 ReLU 层。

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(3,16)
    batchNormalizationLayer
    leakyReluLayer
    
    maxPooling2dLayer(2,'Stride',2)
    convolution2dLayer(3,32)
    batchNormalizationLayer
    leakyReluLayer
    
    fullyConnectedLayer(10)
    softmaxLayer]
layers = 
  10×1 Layer array with layers:

     1   ''   Image Input           28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution       16 3×3 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   Batch Normalization   Batch normalization
     4   ''   Leaky ReLU            Leaky ReLU with scale 0.01
     5   ''   2-D Max Pooling       2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     6   ''   2-D Convolution       32 3×3 convolutions with stride [1  1] and padding [0  0  0  0]
     7   ''   Batch Normalization   Batch normalization
     8   ''   Leaky ReLU            Leaky ReLU with scale 0.01
     9   ''   Fully Connected       10 fully connected layer
    10   ''   Softmax               softmax

算法

全部展开

参考

[1] Maas, Andrew L., Awni Y. Hannun, and Andrew Y. Ng. "Rectifier nonlinearities improve neural network acoustic models." In Proc. ICML, vol. 30, no. 1. 2013.

扩展功能

全部展开

C/C++ 代码生成
使用 MATLAB® Coder™ 生成 C 代码和 C++ 代码。

GPU 代码生成
使用 GPU Coder™ 为 NVIDIA® GPU 生成 CUDA® 代码。

版本历史记录

在 R2017b 中推出

另请参阅

| | | | | | | |

主题