geluLayer

高斯误差线性单元 (GELU) 层

自 R2022b 起

全页展开

说明

高斯误差线性单元 (GELU) 层根据高斯分布下的概率对输入进行加权。

该运算由下式给出

$GELU (x) = \frac{x}{2} (1 + erf (\frac{x}{\sqrt{2}})),$

其中 erf 表示误差函数。

创建对象

语法

layer = geluLayer

layer = geluLayer(Name=Value)

描述

layer = geluLayer 返回一个 GELU 层。

示例

layer = geluLayer(Name=Value) 使用名称-值参量设置可选的 Approximation 和 Name 属性。例如，geluLayer(Name="gelu") 创建一个名为 "gelu" 的 GELU 层。

属性

全部展开

GELU

`Approximation` — GELU 运算的逼近方法
`'none'` (默认) | `'tanh'`

GELU 运算的逼近方法，指定为以下值之一：

'none' - 不使用逼近。
'tanh' - 使用下式逼近底层误差函数

$erf (\frac{x}{\sqrt{2}}) \approx tanh (\sqrt{\frac{2}{π}} (x + 0.044715 x^{3})) .$

提示

在 MATLAB^® 中，计算 tanh 逼近通常不太准确，并且对于较大的输入大小，比不使用逼近计算 GELU 激活更慢。当需要重现使用此逼近的模型（例如 BERT 和 GPT-2）时，请使用 tanh 逼近。

层

`Name` — 层名称
`''` (默认) | 字符向量 | 字符串标量

层名称，指定为字符向量或字符串标量。对于 Layer 数组输入，trainnet 和 dlnetwork 函数会自动为未命名层指定名称。

GELULayer 对象将此属性存储为字符向量。

数据类型: char | string

`NumInputs` — 输入数目
只读: `1` (默认)

此属性为只读。

层的输入数，存储为 1。此层只接受一个输入。

数据类型: double

`InputNames` — 输入名称
只读: `{'in'}` (默认)

此属性为只读。

输入名称，存储为 {'in'}。此层只接受一个输入。

数据类型: cell

`NumOutputs` — 输出的数目
只读: `1` (默认)

此属性为只读。

层的输出数，存储为 1。此层只有一个输出。

数据类型: double

`OutputNames` — 输出名称
只读: `{'out'}` (默认)

此属性为只读。

输出名称，存储为 {'out'}。此层只有一个输出。

数据类型: cell

示例

全部折叠

创建 GELU 层

打开实时脚本

创建一个 GELU 层。

layer = geluLayer

layer = 
  GELULayer with properties:

             Name: ''

   Hyperparameters
    Approximation: 'none'

在 Layer 数组中包含一个 GELU 层。

layers = [
    imageInputLayer([28 28 1])
    convolution2dLayer(5,20)
    geluLayer
    maxPooling2dLayer(2,Stride=2)
    fullyConnectedLayer(10)
    softmaxLayer]

layers = 
  6×1 Layer array with layers:

     1   ''   Image Input       28×28×1 images with 'zerocenter' normalization
     2   ''   2-D Convolution   20 5×5 convolutions with stride [1  1] and padding [0  0  0  0]
     3   ''   GELU              GELU
     4   ''   2-D Max Pooling   2×2 max pooling with stride [2  2] and padding [0  0  0  0]
     5   ''   Fully Connected   10 fully connected layer
     6   ''   Softmax           softmax

算法

全部展开

高斯误差线性单元激活

高斯误差线性单元 (GELU) 激活运算根据高斯分布下的概率对输入进行加权。

该运算由下式给出

$GELU (x) = \frac{x}{2} (1 + erf (\frac{x}{\sqrt{2}})),$

其中 erf 表示误差函数，由下式给出

$erf (x) = \frac{2}{\sqrt{π}} \int_{0}^{x} e^{- t^{2}} d t .$

当 Approximation 选项为 "tanh" 时，软件使用

$erf (\frac{x}{\sqrt{2}}) \approx tanh (\sqrt{\frac{2}{π}} (x + 0.044715 x^{3})) .$

来逼近误差函数

层输入和输出格式

层数组或层图中的层将数据作为格式化的 dlarray 对象传递给后续层。dlarray 对象的格式是字符串，其中每个字符描述数据的对应维度。格式由以下一个或多个字符组成：

"S" - 空间
"C" - 通道
"B" - 批量
"T" - 时间
"U" - 未指定

例如，您可以将以四维数组表示的二维图像数据（其中前两个维度对应于图像的空间维度，第三个维度对应于图像的通道，第四个维度对应于批量维度）的格式描述为 "SSCB"（空间、空间、通道、批量）。

GELULayer 对象应用按元素运算并支持任何格式的输入数据。该层不会添加或删除任何维度，因此它输出的数据与其输入数据的格式相同。

参考

[1] Hendrycks, Dan, and Kevin Gimpel. "Gaussian error linear units (GELUs)." Preprint, submitted June 27, 2016. https://arxiv.org/abs/1606.08415

扩展功能

全部展开

C/C++ 代码生成
使用 MATLAB® Coder™ 生成 C 代码和 C++ 代码。

GPU 代码生成
使用 GPU Coder™ 为 NVIDIA® GPU 生成 CUDA® 代码。

版本历史记录

在 R2022b 中推出

全部展开

R2023b: 代码生成支持

使用 MATLAB Coder™ 生成 C 或 C++ 代码，或使用 GPU Coder™ 为 NVIDIA^® GPU 生成 CUDA^® 代码。

另请参阅

geluLayer

说明

创建对象

语法

描述

属性

GELU

Approximation — GELU 运算的逼近方法 'none' (默认) | 'tanh'

层

Name — 层名称 '' (默认) | 字符向量 | 字符串标量

NumInputs — 输入数目 只读: 1 (默认)

InputNames — 输入名称 只读: {'in'} (默认)

NumOutputs — 输出的数目 只读: 1 (默认)

OutputNames — 输出名称 只读: {'out'} (默认)

示例

创建 GELU 层

算法

高斯误差线性单元激活

层输入和输出格式

参考

扩展功能

C/C++ 代码生成 使用 MATLAB® Coder™ 生成 C 代码和 C++ 代码。

GPU 代码生成 使用 GPU Coder™ 为 NVIDIA® GPU 生成 CUDA® 代码。

版本历史记录

R2023b: 代码生成支持

另请参阅

主题

`Approximation` — GELU 运算的逼近方法
`'none'` (默认) | `'tanh'`

`Name` — 层名称
`''` (默认) | 字符向量 | 字符串标量

`NumInputs` — 输入数目
只读: `1` (默认)

`InputNames` — 输入名称
只读: `{'in'}` (默认)

`NumOutputs` — 输出的数目
只读: `1` (默认)

`OutputNames` — 输出名称
只读: `{'out'}` (默认)

C/C++ 代码生成
使用 MATLAB® Coder™ 生成 C 代码和 C++ 代码。

GPU 代码生成
使用 GPU Coder™ 为 NVIDIA® GPU 生成 CUDA® 代码。