lstm

长短期记忆

全页折叠

语法

Y = lstm(X,H0,C0,weights,recurrentWeights,bias)

[Y,hiddenState,cellState] = lstm(X,H0,C0,weights,recurrentWeights,bias)

___ = lstm(___,Name=Value)

说明

长短期记忆 (LSTM) 运算允许网络学习时间序列和序列数据中时间步之间的长期相关性。

注意

此函数将深度学习 LSTM 运算应用于 dlarray 数据。如果要在 dlnetwork 对象中应用 LSTM 运算，请使用 lstmLayer。

Y = lstm(X,H0,C0,weights,recurrentWeights,bias) 使用初始隐藏状态 H0、初始单元状态 C0 以及参数 weights、recurrentWeights 和 bias 对输入 X 应用长短期记忆 (LSTM) 计算。输入 X 必须是格式化的 dlarray。输出 Y 是格式化的 dlarray，其维度格式与 X 相同，但不包含任何 "S" 维度。

lstm 函数使用双曲正切函数 (tanh) 作为状态激活函数来更新单元状态和隐藏状态。lstm 函数使用 $σ (x) = {(1 + e^{- x})}^{- 1}$ 给出的 sigmoid 函数作为门激活函数。

示例

[Y,hiddenState,cellState] = lstm(X,H0,C0,weights,recurrentWeights,bias) 还返回 LSTM 运算后的隐藏状态和单元状态。

___ = lstm(___,Name=Value) 使用一个或多个名称-值参量指定其他选项。

示例

全部折叠

对序列数据应用 LSTM 运算

打开实时脚本

使用三个隐藏单元执行 LSTM 运算。

将输入序列数据创建为 32 个观测值，具有 10 个通道，序列长度为 64

numFeatures = 10;
numObservations = 32;
sequenceLength = 64;

X = randn(numFeatures,numObservations,sequenceLength);
X = dlarray(X,"CBT");

使用三个隐藏单元创建初始隐藏状态和单元状态。对所有观测值使用相同的初始隐藏状态和单元状态。

numHiddenUnits = 3;
H0 = zeros(numHiddenUnits,1);
C0 = zeros(numHiddenUnits,1);

为 LSTM 运算创建可学习参数。

weights = dlarray(randn(4*numHiddenUnits,numFeatures),"CU");
recurrentWeights = dlarray(randn(4*numHiddenUnits,numHiddenUnits),"CU");
bias = dlarray(randn(4*numHiddenUnits,1),"C");

执行 LSTM 计算

[Y,hiddenState,cellState] = lstm(X,H0,C0,weights,recurrentWeights,bias);

查看输出的大小和维度。

size(Y)

ans = 1×3

     3    32    64

dims(Y)

ans = 
'CBT'

查看隐藏状态和单元状态的大小。

size(hiddenState)

ans = 1×2

     3    32

size(cellState)

ans = 1×2

     3    32

输入参数

全部折叠

`X` — 输入数据
`dlarray` | 数值数组

输入数据，指定为格式化的 dlarray、未格式化的 dlarray 或数值数组。当 X 不是格式化的 dlarray 时，必须使用 DataFormat 选项指定维度标签格式。如果 X 是数值数组，则 H0、C0、weights、recurrentWeights 或 bias 中至少有一个必须是 dlarray。

X 必须包含一个标记为 "T" 的序列维度。如果 X 具有任何标签为 "S" 的空间维度，则它们将展平为 "C" 通道维度。如果 X 没有通道维度，则会添加一个。如果 X 具有任何标签为 "U" 的未指定维度，则它们必须是单一维度。

`H0` — 初始隐藏状态向量
`dlarray` | 数值数组

初始隐藏状态向量，指定为格式化的 dlarray、未格式化的 dlarray 或数值数组。

如果 H0 是格式化的 dlarray，它必须包含标签为 "C" 的通道维度，并且可以选择性地包含一个标签为 "B" 的批量维度（其大小与 X 的 "B" 维度相同）。如果 H0 没有 "B" 维度，则该函数对 X 中的每个观测值使用相同的隐藏状态向量。

"C" 维度的大小决定了隐藏单元的数量。H0 的 "C" 维度大小必须等于 C0 的 "C" 维度大小。

如果 H0 不是格式化的 dlarray，则第一个维度的大小决定了隐藏单元的数量，并且必须与 C0 的第一个维度或 "C" 维度大小相同。

`C0` — 初始单元状态向量
`dlarray` | 数值数组

初始单元状态向量，指定为格式化的 dlarray、未格式化的 dlarray 或数值数组。

如果 C0 是格式化的 dlarray，它必须包含标签为 'C' 的通道维度，并且可以选择性地包含一个标签为 'B' 的批量维度（其大小与 X 的 'B' 维度相同）。如果 C0 没有 'B' 维度，则该函数对 X 中的每个观测值使用相同的单元状态向量。

'C' 维度的大小决定了隐藏单元的数量。C0 的 'C' 维度大小必须等于 H0 的 'C' 维度大小。

如果 C0 不是格式化的 dlarray，则第一个维度的大小决定了隐藏单元的数量，并且必须与 H0 的第一个维度或 'C' 维度大小相同。

`weights` — 权重
`dlarray` | 数值数组

权重，指定为格式化的 dlarray、未格式化的 dlarray 或数值数组。

将 weights 指定为一个大小为 4*NumHiddenUnits×InputSize 的矩阵，其中 NumHiddenUnits 是 C0 和 H0 的 "C" 维度的大小，InputSize 是 X 的 "C" 维度的大小乘以 X 的每个 "S" 维度（如果存在）的大小。

如果 weights 是格式化的 dlarray，则它必须包含一个大小为 4*NumHiddenUnits 的 "C" 维度和一个大小为 InputSize 的 "U" 维度。

`recurrentWeights` — 循环权重
`dlarray` | 数值数组

循环权重，指定为格式化的 dlarray、未格式化的 dlarray 或数值数组。

将 recurrentWeights 指定为一个大小为 4*NumHiddenUnits×NumHiddenUnits 的矩阵，其中 NumHiddenUnits 是 C0 和 H0 的 "C" 维度的大小。

如果 recurrentWeights 是格式化的 dlarray，则它必须包含一个大小为 4*NumHiddenUnits 的 "C" 维度和一个大小为 NumHiddenUnits 的 "U" 维度。

`bias` — 偏置
`dlarray` 向量 | 数值向量

偏置，指定为格式化的 dlarray、未格式化的 dlarray 或数值数组。

将 bias 指定为长度为 4*NumHiddenUnits 的向量，其中 NumHiddenUnits 是 C0 和 H0 的 "C" 维度的大小。

如果 bias 是格式化的 dlarray，则非单一维度的标签必须为 "C"。

名称-值参数

全部折叠

将可选参量对组指定为 Name1=Value1,...,NameN=ValueN，其中 Name 是参量名称，Value 是对应的值。名称-值参量必须出现在其他参量之后，但对各个参量对组的顺序没有要求。

如果使用的是 R2021a 之前的版本，请使用逗号分隔每个名称和值，并用引号将 Name 引起来。

示例: Y = lstm(X,H0,C0,weights,recurrentWeights,bias,DataFormat="CTB") 应用 LSTM 运算并指定数据格式为 "CTB"（通道、时间、批量）。

`DataFormat` — 数据维度的描述
字符向量 | 字符串标量

数据维度的描述，指定为字符向量或字符串标量。

数据格式是一个字符串，其中每个字符描述对应数据的维度的类型。

这些字符是：

"S" - 空间
"C" - 通道
"B" - 批量
"T" - 时间
"U" - 未指定

例如，假设有一个表示一批序列的数组，其中第一个、第二个和第三个维度分别对应于通道、观测值和时间步。您可以将该数据描述为具有格式 "CBT"（通道、批量、时间）。

您可以指定多个标注为 "S" 或 "U" 的维度。每个 "C"、"B" 和 "T" 标签最多可以使用一次。该软件忽略第二个维度后的单一尾部 "U" 维度。

如果输入数据不是格式化的 dlarray 对象，则必须指定 DataFormat 选项。

有关详细信息，请参阅Deep Learning Data Formats。

数据类型: char | string

`StateActivationFunction` — 状态激活函数
`"tanh"` (默认) | `"softsign"` | `"relu"`

自 R2024a 起

用于更新单元状态和隐藏状态的激活函数，指定为下列值之一：

"tanh" - 使用双曲正切函数 (tanh)。
"softsign" - 使用 softsign 函数 $softsign (x) = \frac{x}{1 + | x |}$ 。
"relu" - 使用修正线性单元 (ReLU) 函数 $ReLU (x) = {\begin{matrix} x, & x > 0 \\ 0, & x \leq 0 \end{matrix}$ 。

软件在计算中使用此选项作为 $σ_{c}$ 函数来更新单元状态和隐藏状态。

有关详细信息，请参阅 lstmLayer 参考页上Long Short-Term Memory Layer的定义。

`GateActivationFunction` — 门激活函数
`"sigmoid"` (默认) | `"hard-sigmoid"`

自 R2024a 起

应用于门的激活函数，指定为下列值之一：

"sigmoid" - 使用 sigmoid 函数 $σ (x) = {(1 + e^{- x})}^{- 1}$ 。
"hard-sigmoid" - 使用硬 sigmoid 函数

$σ (x) = {\begin{matrix} \begin{array}{l} 0 \\ 0.2 x + 0.5 \\ 1 \end{array} & \begin{array}{l} if x < - 2.5 \\ if - 2.5 \leq x \leq 2.5 \\ if x > 2.5 \end{array} \end{matrix} .$

软件在层门计算中使用此选项作为 $σ_{g}$ 函数。

有关详细信息，请参阅 lstmLayer 参考页上Long Short-Term Memory Layer的定义。

输出参量

全部折叠

`Y` — LSTM 输出
`dlarray`

LSTM 输出，以 dlarray 形式返回。输出 Y 与输入 X 具有相同的基础数据类型。

如果输入数据 X 是格式化的 dlarray，则 Y 与 X 具有相同的维度格式，但不包含任何 "S" 维度。如果输入数据不是格式化的 dlarray，则 Y 是未格式化的 dlarray，其维度顺序与输入数据相同。

Y 的 "C" 维度大小与隐藏单元的数量相同，由 H0 或 C0 的 "C" 维度大小指定。

`hiddenState` — 隐藏状态向量
`dlarray` | 数值数组

每个观测值的隐藏状态向量，以 dlarray 或数值数组（与 H0 具有相同的数据类型）的形式返回。

如果输入 H0 是格式化的 dlarray，则输出 hiddenState 是格式化的 dlarray，格式为 "CB"。

`cellState` — 单元状态向量
`dlarray` | 数值数组

每个观测值的单元状态向量，以 dlarray 或数值数组的形式返回。返回的 cellState 具有与 C0 相同的数据类型。

如果输入 C0 是格式化的 dlarray，则输出 cellState 以格式化的 dlarray 形式返回，格式为 'CB'。

算法

全部折叠

长短期记忆

LSTM 运算允许网络学习时间序列和序列数据中时间步之间的长期相关性。有关详细信息，请参阅 lstmLayer 参考页上Long Short-Term Memory Layer的定义。

深度学习数组格式

大多数深度学习网络和函数以不同方式对输入数据的不同维度进行操作。

例如，LSTM 运算在输入数据的时间维度上进行迭代，而批量归一化运算在输入数据的批量维度上进行归一化。

要提供的输入数据带有包含标签的维度或额外的布局信息时，您可以使用数据格式。

数据格式是一个字符串，其中每个字符描述对应数据的维度的类型。

这些字符是：

"S" - 空间
"C" - 通道
"B" - 批量
"T" - 时间
"U" - 未指定

要创建格式化的输入数据，请创建一个 dlarray 对象并使用第二个参量指定格式。

要提供包含未格式化数据的额外布局信息，请使用 FMT 参量指定格式。

有关详细信息，请参阅Deep Learning Data Formats。

扩展功能

全部展开

GPU 数组
通过使用 Parallel Computing Toolbox™ 在图形处理单元 (GPU) 上运行来加快代码执行。

lstm 函数支持 GPU 数组输入，但有以下用法说明和限制：

当以下输入参量中至少有一个是 gpuArray 或基础数据类型为 gpuArray 的 dlarray 时，此函数在 GPU 上运行：
- X
- H0
- C0
- weights
- recurrentWeights
- bias

有关详细信息，请参阅在 GPU 上运行 MATLAB 函数 (Parallel Computing Toolbox)。

版本历史记录

在 R2019b 中推出

全部展开

R2024a: 指定状态和门激活函数

分别使用 StateActivationFunction 和 GateActivationFunction 名称-值参量指定状态和门激活函数。

另请参阅

lstm

语法

说明

示例

对序列数据应用 LSTM 运算

输入参数

X — 输入数据 dlarray | 数值数组

H0 — 初始隐藏状态向量 dlarray | 数值数组

C0 — 初始单元状态向量 dlarray | 数值数组

weights — 权重 dlarray | 数值数组

recurrentWeights — 循环权重 dlarray | 数值数组

bias — 偏置 dlarray 向量 | 数值向量

名称-值参数

DataFormat — 数据维度的描述 字符向量 | 字符串标量

StateActivationFunction — 状态激活函数 "tanh" (默认) | "softsign" | "relu"

GateActivationFunction — 门激活函数 "sigmoid" (默认) | "hard-sigmoid"

输出参量

Y — LSTM 输出 dlarray

hiddenState — 隐藏状态向量 dlarray | 数值数组

cellState — 单元状态向量 dlarray | 数值数组

算法

长短期记忆

深度学习数组格式

扩展功能

GPU 数组 通过使用 Parallel Computing Toolbox™ 在图形处理单元 (GPU) 上运行来加快代码执行。

版本历史记录

R2024a: 指定状态和门激活函数

另请参阅

主题

`X` — 输入数据
`dlarray` | 数值数组

`H0` — 初始隐藏状态向量
`dlarray` | 数值数组

`C0` — 初始单元状态向量
`dlarray` | 数值数组

`weights` — 权重
`dlarray` | 数值数组

`recurrentWeights` — 循环权重
`dlarray` | 数值数组

`bias` — 偏置
`dlarray` 向量 | 数值向量

`DataFormat` — 数据维度的描述
字符向量 | 字符串标量

`StateActivationFunction` — 状态激活函数
`"tanh"` (默认) | `"softsign"` | `"relu"`

`GateActivationFunction` — 门激活函数
`"sigmoid"` (默认) | `"hard-sigmoid"`

`Y` — LSTM 输出
`dlarray`

`hiddenState` — 隐藏状态向量
`dlarray` | 数值数组

`cellState` — 单元状态向量
`dlarray` | 数值数组

GPU 数组
通过使用 Parallel Computing Toolbox™ 在图形处理单元 (GPU) 上运行来加快代码执行。