定义自定义深度学习层

本页翻译不是最新的。点击此处可查看最新英文版本。

提示

本主题说明如何针对您的问题定义自定义深度学习层。有关 Deep Learning Toolbox™ 中的内置层的列表，请参阅深度学习层列表。

您可以针对您的任务定义自己的自定义深度学习层。您可以使用自定义输出层指定自定义损失函数，并定义具有或不具有可学习参数和状态参数的自定义层。定义自定义层后，您可以检查该层是否有效，是否与 GPU 兼容，以及是否输出正确定义的梯度。

本主题说明深度学习层的架构，以及如何针对您的任务定义自定义层。

类型	描述
中间层	定义一个自定义深度学习层，并指定可选的可学习参数和状态参数。有关详细信息，请参阅Define Custom Deep Learning Intermediate Layers。有关如何使用可学习参数定义自定义层的示例，请参阅Define Custom Deep Learning Layer with Learnable Parameters。有关如何定义具有多个输入的自定义层的示例，请参阅Define Custom Deep Learning Layer with Multiple Inputs。
分类输出层	定义一个自定义分类输出层并指定损失函数。有关详细信息，请参阅Define Custom Deep Learning Output Layers。有关如何定义自定义分类输出层和指定损失函数的示例，请参阅Define Custom Classification Output Layer。
回归输出层	定义一个自定义回归输出层并指定损失函数。有关详细信息，请参阅Define Custom Deep Learning Output Layers。有关如何定义一个自定义回归输出层和指定损失函数的示例，请参阅Define Custom Regression Output Layer。

类型

描述

中间层

定义一个自定义深度学习层，并指定可选的可学习参数和状态参数。

有关详细信息，请参阅Define Custom Deep Learning Intermediate Layers。

有关如何使用可学习参数定义自定义层的示例，请参阅Define Custom Deep Learning Layer with Learnable Parameters。有关如何定义具有多个输入的自定义层的示例，请参阅Define Custom Deep Learning Layer with Multiple Inputs。

分类输出层

定义一个自定义分类输出层并指定损失函数。

有关详细信息，请参阅Define Custom Deep Learning Output Layers。

有关如何定义自定义分类输出层和指定损失函数的示例，请参阅Define Custom Classification Output Layer。

回归输出层

定义一个自定义回归输出层并指定损失函数。

有关详细信息，请参阅Define Custom Deep Learning Output Layers。

有关如何定义一个自定义回归输出层和指定损失函数的示例，请参阅Define Custom Regression Output Layer。

层模板

您可以使用以下模板来定义新层。

中间层模板

此模板提供中间层的大致结构。有关详细信息，请参阅Define Custom Deep Learning Intermediate Layers。

有关如何定义具有可学习参数的层的示例，请参阅Define Custom Deep Learning Layer with Learnable Parameters。

classdef myLayer < nnet.layer.Layer % ...
        % & nnet.layer.Formattable ... % (Optional) 
        % & nnet.layer.Acceleratable % (Optional)

    properties
        % (Optional) Layer properties.

        % Declare layer properties here.
    end

    properties (Learnable)
        % (Optional) Layer learnable parameters.

        % Declare learnable parameters here.
    end

    properties (State)
        % (Optional) Layer state parameters.

        % Declare state parameters here.
    end

    properties (Learnable, State)
        % (Optional) Nested dlnetwork objects with both learnable
        % parameters and state parameters.

        % Declare nested networks with learnable and state parameters here.
    end

    methods
        function layer = myLayer()
            % (Optional) Create a myLayer.
            % This function must have the same name as the class.

            % Define layer constructor function here.
        end

        function layer = initialize(layer,layout)
            % (Optional) Initialize layer learnable and state parameters.
            %
            % Inputs:
            %         layer  - Layer to initialize
            %         layout - Data layout, specified as a networkDataLayout
            %                  object
            %
            % Outputs:
            %         layer - Initialized layer
            %
            %  - For layers with multiple inputs, replace layout with 
            %    layout1,...,layoutN, where N is the number of inputs.
            
            % Define layer initialization function here.
        end
        

        function [Z,state] = predict(layer,X)
            % Forward input data through the layer at prediction time and
            % output the result and updated state.
            %
            % Inputs:
            %         layer - Layer to forward propagate through 
            %         X     - Input data
            % Outputs:
            %         Z     - Output of layer forward function
            %         state - (Optional) Updated layer state
            %
            %  - For layers with multiple inputs, replace X with X1,...,XN, 
            %    where N is the number of inputs.
            %  - For layers with multiple outputs, replace Z with 
            %    Z1,...,ZM, where M is the number of outputs.
            %  - For layers with multiple state parameters, replace state 
            %    with state1,...,stateK, where K is the number of state 
            %    parameters.

            % Define layer predict function here.
        end

        function [Z,state,memory] = forward(layer,X)
            % (Optional) Forward input data through the layer at training
            % time and output the result, the updated state, and a memory
            % value.
            %
            % Inputs:
            %         layer - Layer to forward propagate through 
            %         X     - Layer input data
            % Outputs:
            %         Z      - Output of layer forward function 
            %         state  - (Optional) Updated layer state 
            %         memory - (Optional) Memory value for custom backward
            %                  function
            %
            %  - For layers with multiple inputs, replace X with X1,...,XN, 
            %    where N is the number of inputs.
            %  - For layers with multiple outputs, replace Z with 
            %    Z1,...,ZM, where M is the number of outputs.
            %  - For layers with multiple state parameters, replace state 
            %    with state1,...,stateK, where K is the number of state 
            %    parameters.

            % Define layer forward function here.
        end

        function layer = resetState(layer)
            % (Optional) Reset layer state.

            % Define reset state function here.
        end

        function [dLdX,dLdW,dLdSin] = backward(layer,X,Z,dLdZ,dLdSout,memory)
            % (Optional) Backward propagate the derivative of the loss
            % function through the layer.
            %
            % Inputs:
            %         layer   - Layer to backward propagate through 
            %         X       - Layer input data 
            %         Z       - Layer output data 
            %         dLdZ    - Derivative of loss with respect to layer 
            %                   output
            %         dLdSout - (Optional) Derivative of loss with respect 
            %                   to state output
            %         memory  - Memory value from forward function
            % Outputs:
            %         dLdX   - Derivative of loss with respect to layer input
            %         dLdW   - (Optional) Derivative of loss with respect to
            %                  learnable parameter 
            %         dLdSin - (Optional) Derivative of loss with respect to 
            %                  state input
            %
            %  - For layers with state parameters, the backward syntax must
            %    include both dLdSout and dLdSin, or neither.
            %  - For layers with multiple inputs, replace X and dLdX with
            %    X1,...,XN and dLdX1,...,dLdXN, respectively, where N is
            %    the number of inputs.
            %  - For layers with multiple outputs, replace Z and dlZ with
            %    Z1,...,ZM and dLdZ,...,dLdZM, respectively, where M is the
            %    number of outputs.
            %  - For layers with multiple learnable parameters, replace 
            %    dLdW with dLdW1,...,dLdWP, where P is the number of 
            %    learnable parameters.
            %  - For layers with multiple state parameters, replace dLdSin
            %    and dLdSout with dLdSin1,...,dLdSinK and 
            %    dLdSout1,...,dldSoutK, respectively, where K is the number
            %    of state parameters.

            % Define layer backward function here.
        end
    end
end

分类输出层模板

回归输出层模板

中间层架构

在训练过程中，软件在网络中以迭代方式执行前向传导和后向传导。

在网络的前向传导过程中，每个层获取前面各层的输出，应用一个函数，然后将结果输出（正向传播）到后面各层。有状态的层（如 LSTM 层）也会更新层状态。

层可以有多个输入或输出。例如，层可以从多个前面的层中获取 X₁、…、X_N，并将输出 Z₁、…、Z_M 正向传播到后续各层。

在执行网络的前向传导结束时，输出层计算预测值 Y 和目标 T 之间的损失 L。

在网络的后向传导过程中，每个层都接受损失关于该层的输出的导数，计算损失 L 关于输入的导数，然后反向传播结果。如果层具有可学习参数，则该层还会计算层权重（可学习参数）的导数。该层使用权重的导数来更新可学习参数。

下图说明通过深度神经网络的数据流，重点显示通过具有单个输入 X、单个输出 Z 和可学习参数 W 的层的数据流。

Network diagram showing the flow of data through a neural network during training.

有关自定义中间层的详细信息，请参阅Define Custom Deep Learning Intermediate Layers。

输出层架构

在训练时的前向传导结束时，输出层获取前一个层（网络预测）的预测输出 Y，并计算这些预测和训练目标之间的损失 L。输出层计算损失 L 关于预测 Y 的导数，并将结果输出（反向传播）到前一个层。

下图说明通过神经网络和输出层的数据流。

Network diagram showing the flow of data through a neural network during training.

有关详细信息，请参阅Define Custom Deep Learning Output Layers。

检查自定义层的有效性

如果您创建自定义深度学习层，则可以使用 checkLayer 函数来检查该层是否有效。该函数检查层的有效性、GPU 兼容性、正确定义的梯度和代码生成兼容性。要检查层是否有效，请运行以下命令：

checkLayer(layer,validInputSize)

layer 是层的实例，validInputSize 是指定层的有效输入大小的向量或元胞数组。要检查多个观测值，请使用 ObservationDimension 选项。要运行代码生成兼容性检查，请将 CheckCodegenCompatibility 选项设置为 1 (true)。对于较大的输入大小，梯度检查的运行时间较长。为了加快检查速度，请指定较小的有效输入大小。

有关详细信息，请参阅Check Custom Layer Validity。

另请参阅