使用深度学习进行序列分类
此示例说明如何使用长短期记忆 (LSTM) 网络对序列数据进行分类。
要训练深度神经网络以对序列数据进行分类,可以使用 LSTM 网络。LSTM 网络允许您将序列数据输入网络,并根据序列数据的各个时间步进行预测。
此示例使用 Waveform 数据集。此示例训练 LSTM 网络来识别给定时间序列数据的波形类型。训练数据包含四种波形的时间序列数据。每个序列有三个通道,且长度不同。
加载序列数据
从 WaveformData
加载示例数据。序列数据是序列的 numObservations
×1 元胞数组,其中 numObservations
是序列数。每个序列都是一个 numChannels
×-numTimeSteps
数值数组,其中 numChannels
是序列的通道数,numTimeSteps
是序列的时间步数。标签数据是 numObservations
×1
分类向量。
load WaveformData
在绘图中可视化一些序列。
numChannels = size(data{1},1); idx = [3 4 5 12]; figure tiledlayout(2,2) for i = 1:4 nexttile stackedplot(data{idx(i)}',DisplayLabels="Channel "+string(1:numChannels)) xlabel("Time Step") title("Class: " + string(labels(idx(i)))) end
留出测试数据。将数据划分为训练集(包含 90% 数据)和测试集(包含其余 10% 数据)。要划分数据,请使用 trainingPartitions
函数,此函数作为支持文件包含在此示例中。要访问此文件,请以实时脚本形式打开此示例。
numObservations = numel(data); [idxTrain,idxTest] = trainingPartitions(numObservations, [0.9 0.1]); XTrain = data(idxTrain); TTrain = labels(idxTrain); XTest = data(idxTest); TTest = labels(idxTest);
准备要填充的数据
在训练过程中,默认情况下,软件将训练数据拆分成小批量并填充序列,使它们具有相同的长度。过多填充会对网络性能产生负面影响。
为了防止训练过程添加过多填充,您可以按序列长度对训练数据进行排序,并选择合适的小批量大小,以使同一小批量中的序列长度相近。下图显示了对数据进行排序之前和之后填充序列的效果。
获取每个观测值的序列长度。
numObservations = numel(XTrain); for i=1:numObservations sequence = XTrain{i}; sequenceLengths(i) = size(sequence,2); end
按序列长度对数据进行排序。
[sequenceLengths,idx] = sort(sequenceLengths); XTrain = XTrain(idx); TTrain = TTrain(idx);
在条形图中查看排序的序列长度。
figure bar(sequenceLengths) xlabel("Sequence") ylabel("Length") title("Sorted Data")
定义 LSTM 网络架构
定义 LSTM 网络架构。将输入大小指定为输入数据的通道数。指定一个具有 120 个隐藏单元的双向 LSTM 层,并输出序列的最后一个元素。最后,包括一个输出大小与类的数量匹配的全连接层,后跟一个 softmax 层和一个分类层。
如果您可以在预测时访问完整序列,则可以在网络中使用双向 LSTM 层。双向 LSTM 层在每个时间步从完整序列学习。如果您不能在预测时访问完整序列,例如,您正在预测值或一次预测一个时间步时,则改用 LSTM 层。
numHiddenUnits = 120; numClasses = 4; layers = [ ... sequenceInputLayer(numChannels) bilstmLayer(numHiddenUnits,OutputMode="last") fullyConnectedLayer(numClasses) softmaxLayer classificationLayer]
layers = 5×1 Layer array with layers: 1 '' Sequence Input Sequence input with 3 dimensions 2 '' BiLSTM BiLSTM with 120 hidden units 3 '' Fully Connected 4 fully connected layer 4 '' Softmax softmax 5 '' Classification Output crossentropyex
指定训练选项。使用 Adam 求解器进行训练,学习率为 0.002,梯度阈值为 1。将最大训练轮数设置为 150 并禁用乱序。默认情况下,软件会在 GPU 上(如果有)进行训练。使用 GPU 需要 Parallel Computing Toolbox 和支持的 GPU 设备。有关受支持设备的信息,请参阅GPU Computing Requirements (Parallel Computing Toolbox)。
options = trainingOptions("adam", ... InitialLearnRate=0.002,... MaxEpochs=150, ... Shuffle="never", ... GradientThreshold=1, ... Verbose=false, ... Plots="training-progress");
训练 LSTM 网络
使用 trainNetwork
以指定的训练选项训练 LSTM 网络。
net = trainNetwork(XTrain,TTrain,layers,options);
测试 LSTM 网络
对测试数据进行分类,并计算预测的分类准确度。
XTest(1:3)
ans=3×1 cell array
{3×127 double}
{3×180 double}
{3×193 double}
LSTM 网络 net
已使用相似长度的小批量序列进行训练。确保以相同的方式组织测试数据。按序列长度对测试数据进行排序。
numObservationsTest = numel(XTest); for i=1:numObservationsTest sequence = XTest{i}; sequenceLengthsTest(i) = size(sequence,2); end [sequenceLengthsTest,idx] = sort(sequenceLengthsTest); XTest = XTest(idx); TTest = TTest(idx);
对测试数据进行分类,并计算预测的分类准确度。
YTest = classify(net,XTest); acc = mean(YTest == TTest)
acc = 0.8400
在混淆图中显示分类结果。
figure confusionchart(TTest,YTest)
另请参阅
trainNetwork
| trainingOptions
| lstmLayer
| bilstmLayer
| sequenceInputLayer