使用深度学习进行序列分类
此示例说明如何使用长短期记忆 (LSTM) 网络对序列数据进行分类。
要训练深度神经网络以对序列数据进行分类,可以使用 LSTM 神经网络。LSTM 神经网络允许您将序列数据输入网络,并根据序列数据的各个时间步进行预测。
此图说明序列数据流经序列分类神经网络的序列数据。
此示例使用 Waveform 数据集。此示例训练 LSTM 神经网络来识别给定时间序列数据的波形类型。训练数据包含四种波形的时间序列数据。每个序列有三个通道,且长度不同。
加载序列数据
从 WaveformData
加载示例数据。序列数据是序列的 numObservations
×1 元胞数组,其中 numObservations
是序列数。每个序列都是一个 numTimeSteps
×-numChannels
数值数组,其中 numTimeSteps
是序列的时间步,numChannels
是序列的通道数。标签数据是 numObservations
×1
分类向量。
load WaveformData
在绘图中可视化一些序列。
numChannels = size(data{1},2); idx = [3 4 5 12]; figure tiledlayout(2,2) for i = 1:4 nexttile stackedplot(data{idx(i)},DisplayLabels="Channel "+string(1:numChannels)) xlabel("Time Step") title("Class: " + string(labels(idx(i)))) end
查看类名称。
classNames = categories(labels)
classNames = 4×1 cell
{'Sawtooth'}
{'Sine' }
{'Square' }
{'Triangle'}
留出测试数据。将数据划分为训练集(包含 90% 数据)和测试集(包含其余 10% 数据)。要划分数据,请使用 trainingPartitions
函数,此函数作为支持文件包含在此示例中。要访问此文件,请以实时脚本形式打开此示例。
numObservations = numel(data); [idxTrain,idxTest] = trainingPartitions(numObservations,[0.9 0.1]); XTrain = data(idxTrain); TTrain = labels(idxTrain); XTest = data(idxTest); TTest = labels(idxTest);
准备要填充的数据
在训练过程中,默认情况下,软件将训练数据拆分成小批量并填充序列,使它们具有相同的长度。过多填充会对网络性能产生负面影响。
为了防止训练过程添加过多填充,您可以按序列长度对训练数据进行排序,并选择合适的小批量大小,以使同一小批量中的序列长度相近。下图显示了对数据进行排序之前和之后填充序列的效果。
获取每个观测值的序列长度。
numObservations = numel(XTrain); for i=1:numObservations sequence = XTrain{i}; sequenceLengths(i) = size(sequence,1); end
按序列长度对数据进行排序。
[sequenceLengths,idx] = sort(sequenceLengths); XTrain = XTrain(idx); TTrain = TTrain(idx);
在条形图中查看排序的序列长度。
figure bar(sequenceLengths) xlabel("Sequence") ylabel("Length") title("Sorted Data")
定义 LSTM 神经网络架构
定义 LSTM 神经网络架构。
将输入大小指定为输入数据的通道数。
指定一个具有 120 个隐藏单元的双向 LSTM 层,并输出序列的最后一个元素。
最后,包括一个输出大小与类的数量匹配的全连接层,后跟一个 softmax 层。
如果您可以在预测时访问完整序列,则可以在网络中使用双向 LSTM 层。双向 LSTM 层在每个时间步从完整序列学习。如果您不能在预测时访问完整序列,例如,您正在预测值或一次预测一个时间步时,则改用 LSTM 层。
numHiddenUnits = 120;
numClasses = 4;
layers = [
sequenceInputLayer(numChannels)
bilstmLayer(numHiddenUnits,OutputMode="last")
fullyConnectedLayer(numClasses)
softmaxLayer]
layers = 4×1 Layer array with layers: 1 '' Sequence Input Sequence input with 3 dimensions 2 '' BiLSTM BiLSTM with 120 hidden units 3 '' Fully Connected 4 fully connected layer 4 '' Softmax softmax
指定训练选项
指定训练选项。在选项中进行选择需要经验分析。要通过运行试验探索不同训练选项配置,您可以使用Experiment Manager。
使用 Adam 求解器进行训练。
进行 200 轮训练。
指定学习率为 0.002。
使用阈值 1 裁剪梯度。
为了保持序列按长度排序,禁用乱序。
在图中显示训练进度并监控准确度。
禁用详尽输出。
options = trainingOptions("adam", ... MaxEpochs=200, ... InitialLearnRate=0.002,... GradientThreshold=1, ... Shuffle="never", ... Plots="training-progress", ... Metrics="accuracy", ... Verbose=false);
训练 LSTM 神经网络
使用 trainnet
函数训练神经网络。对于分类,使用交叉熵损失。默认情况下,trainnet
函数使用 GPU(如果有)。使用 GPU 需要 Parallel Computing Toolbox™ 许可证和受支持的 GPU 设备。有关受支持设备的信息,请参阅GPU Computing Requirements (Parallel Computing Toolbox)。否则,该函数使用 CPU。要指定执行环境,请使用 ExecutionEnvironment
训练选项。
net = trainnet(XTrain,TTrain,layers,"crossentropy",options);
测试 LSTM 神经网络
对测试数据进行分类,并计算预测的分类准确度。
LSTM 神经网络 net
已使用相似长度的小批量序列进行训练。确保以相同的方式组织测试数据。按序列长度对测试数据进行排序。
numObservationsTest = numel(XTest); for i=1:numObservationsTest sequence = XTest{i}; sequenceLengthsTest(i) = size(sequence,1); end [sequenceLengthsTest,idx] = sort(sequenceLengthsTest); XTest = XTest(idx); TTest = TTest(idx);
对测试数据进行分类,并计算预测的分类准确度。
使用 minibatchpredict
函数进行预测,并使用 scores2label
函数将分数转换为标签。默认情况下,minibatchpredict
函数使用 GPU(如果有)。
scores = minibatchpredict(net,XTest); YTest = scores2label(scores,classNames);
计算分类准确度。准确度是正确预测的标签的百分比。
acc = mean(YTest == TTest)
acc = 0.8700
在混淆图中显示分类结果。
figure confusionchart(TTest,YTest)
另请参阅
trainnet
| trainingOptions
| dlnetwork
| lstmLayer
| bilstmLayer
| sequenceInputLayer