[發明專利]基于深度長短期記憶神經網絡對多變量時間序列分類方法

有效

• 申請號: 201810004117.5
• 申請日: 2018-01-03
• 公開（公告）號: CN108182259B
• 公開（公告）日: 2020-06-19
• 發明（設計）人: 馬千里;秦州
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種基于深度長短期記憶神經網絡對多變量時間序列分類方法，其特征在于，應用于對多變量語音識別數據集進行分類，所述的方法包括以下步驟：

S1、對多變量語音識別數據集中的樣本的每個變量進行歸一化，若數據集中各樣本長度相同，跳轉到步驟S2，否則對數據集中的樣本通過尾部填充標記值的方法進行長度一致化；

S2、計算分類所需LSTM的層數；

S3、根據計算得到的LSTM層數，構建深度長短期記憶神經網絡分類模型，將i-1層輸出向量作為i層的輸入向量；

S4、將最上層LSTM層的輸出輸入到Softmax分類器中，將最后一個時間步的輸出結果作為深度長短期記憶神經網絡分類模型對于樣本的類別判定；

S5、根據深度長短期記憶神經網絡分類模型對訓練集樣本的輸出類別和實際類別采用梯度下降算法更新模型權重，對深度長短期記憶神經網絡分類模型權重進行調整；

S6、將待預測的樣本輸入調整好權重的深度長短期記憶神經網絡分類模型中，最后一個時間步的輸出作為該樣本的預測標簽。

2.根據權利要求1所述的基于深度長短期記憶神經網絡對多變量時間序列分類方法，其特征在于，所述的深度長短期記憶神經網絡分類模型使用的是包括輸入門、輸出門、遺忘門和狀態單元的長短期記憶神經元模塊，其輸出結果的計算公式如下：

其中，x_t為第t時刻的時間序列，W為權重矩陣，該權重矩陣包括輸入權重矩陣W_ix，遺忘權重矩陣W_fx，輸出、遺忘、輸出細胞單元權重矩陣W_ic、W_fc、W_oc，細胞單元權重矩陣W_cx，輸出權重矩陣W_ox；b為偏置向量，該偏置向量包括輸入、遺忘、細胞單元、輸出偏置，下標分別為i、f、c、o；i_t,f_t,o_t,c_t分別為時刻t的輸入門，遺忘門，輸出門和狀態，C_t-1和C_t表示第t-1時刻和第t時刻的細胞單元狀態，y_t表示t時刻深層LSTM的輸出向量；“·”表示矩陣乘法，“⊙”表示逐數乘法；所述σ函數計算公式為：tanh函數計算公式為：

3.根據權利要求1所述的基于深度長短期記憶神經網絡對多變量時間序列分類方法，其特征在于，所述的步驟S1中，假設填充后的樣本為y,長度為n_max，填充前的樣本為x,長度為l_max，樣本尾部填充標記值的公式為：

4.根據權利要求1所述的基于深度長短期記憶神經網絡對多變量時間序列分類方法，其特征在于，所述的步驟S2中，假設樣本個數為n,變量個數為L₀,第i個LSTM層的輸出神經元個數為L_i，LSTM層數m的設定準則為：

在滿足上式的情況下m應盡量大。

5.根據權利要求1所述的基于深度長短期記憶神經網絡對多變量時間序列分類方法，其特征在于，所述的步驟S3中，每層的輸出神經元個數應保持一致。

6.根據權利要求1所述的基于深度長短期記憶神經網絡對多變量時間序列分類方法，其特征在于，所述的步驟S5中，采用RMSProp算法更新網絡權重。

7.根據權利要求1所述的基于深度長短期記憶神經網絡對多變量時間序列分類方法，其特征在于，所述的步驟S6中，僅將最后一時間步深度LSTM模型的輸出輸入Softmax分類器作為深度長短期記憶神經網絡分類模型最終的預測結果。