[發明專利]一種基于稀疏高斯伯努利受限玻爾茲曼機和循環神經網絡的故障分類模型及方法

有效

• 申請號: 201810295725.6
• 申請日: 2018-03-30
• 公開（公告）號: CN108875771B
• 公開（公告）日: 2020-04-10
• 發明（設計）人: 葛志強;孫慶強;楊杰;宋執環
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于稀疏高斯伯努利受限玻爾茲曼機和循環神經網絡的故障分類模型，其特征在于，該模型簡稱為SGRBM-LSTM-RNN，共分為四部分，第一部分包含k個稀疏高斯伯努利受限玻爾茲曼機網絡，即SGRBM，其中k為序列長度，每個SGRBM包含一個輸入層和一個隱藏層；第二部分包含k個長短時記憶單元組成的長短時記憶循環神經網絡，即LSTM-RNN；第三部分是一個單隱藏層的感知器，第四部分是Softmax網絡層；其中第k個長短時記憶單元的隱藏層狀態輸出至感知器中，再由Softmax網絡層輸出每個類別的后驗概率；模型相關的參數包括輸入序列的長度k，SGRBM的輸入層和隱藏層的連接權重W₁，輸入層和隱藏層的偏置a，b₁,LSTM-RNN中遺忘門、輸入門和輸出門的權重和偏置W_f，b_f，W_i，b_i，W_o，b_o，第k個LSTM單元到感知器的隱藏層的權重和偏置W₂，b₂，感知器的隱藏層到Softmax層的權重和偏置W₃，b₃；該模型對應數據的輸入變量為序列X，輸出變量為Y，LSTM-RNN的細胞狀態和隱藏層輸出分別為C和h。

所述的SGRBM-LSTM-RNN模型的訓練過程分為三個階段：

(1)SGRBM無監督預訓練

利用單個采樣時刻的無標簽數據作為輸入，應用對比散度算法更新參數θ₁＝{W₁，a，b₁}，然后更新隱藏層偏置b₁使之滿足稀疏約束條件，不斷重復更新θ₁和b₁直至收斂，得到預訓練完的SGRBM模型；

(2)LSTM-RNN，感知器和Softmax層參數初始化

采取深度學習Xavier初始化方法對LSTM中遺忘門、輸入門和輸出門的權重、偏置和感知器、Softmax層的連接權重以及每層的偏置W_f，b_f，W_i，b_i，W_o，b_o，W₂，b₂，W₃，b₃進行初始化；

(3)SGRBM-LSTM-RNN有監督訓練

將(1)、(2)得到的參數作為SGRBM-LSTM-RNN的模型參數初值，將序列數據集輸入到SGRBM-LSTM-RNN模型中，經過SGRBM和LSTM-RNN的特征編碼前向傳播至感知器層后獲取特征h，再將{(h¹，y¹)，(h²，y²)，...，(h^L，y^L)}輸入至Softmax網絡層中，最小化有監督學習分類誤差，相當于最大化如下優化函數：

其中，θ代表整個網絡的權重和偏置參數，P(·)表示概率；

基于優化函數，通過時間反向傳播算法對整個SGRBM-LSTM-RNN網絡參數進行調整，經多次迭代收斂后得到整個網絡最優參數θ^*，即獲得訓練好的SGRBM-LSTM-RNN模型。

2.根據權利要求1所述的基于稀疏高斯伯努利受限玻爾茲曼機和循環神經網絡的故障分類模型，其特征在于，所述的長短時記憶單元的個數k為8-10。

3.根據權利要求1所述的基于稀疏高斯伯努利受限玻爾茲曼機和循環神經網絡的故障分類模型，其特征在于，所述的LSTM-RNN、感知器和Softmax層參數初始化過程中，采用的是Xavier初始化方法，其目標為使所在層輸入維度為n_i，輸出維度為n_o的參數滿足下式的均勻分布：

4.根據權利要求1所述的基于稀疏高斯伯努利受限玻爾茲曼機和循環神經網絡的故障分類模型，其特征在于，所述的SGRBM-LSTM-RNN模型的訓練過程中學習率指數衰減的衰減系數為0.01-0.1，SGRBM的隱藏層的稀疏概率值為0.85-0.95。

5.一種基于權利要求1所述的基于疊稀疏高斯伯努利受限玻爾茲曼機和循環神經網絡的故障分類模型的故障分類方法，其特征在于，該方法包括如下步驟：

步驟一：收集歷史工業過程的離線數據組成建模用的訓練數據集，所述的訓練數據集為含有故障類別標簽的有標簽數據集D＝{X，Y}＝{(xⁱ，yⁱ)}，其中yⁱ∈{1，2，...，C}，i＝1，2，...，n，n表示有標簽數據集的樣本個數，C為故障類別個數；

步驟二：將步驟一中收集到的訓練數據集標準化，將過程變量化成均值為0，方差為1的新的數據集，并通過one-hot編碼將表示類別的標量轉化為一維向量，設定序列的長度為k，在每個類別的數據子集中用長度為k的時間窗滑取過程數據，并給定標簽數據，從而得到新的序列樣本集其中

步驟三：首先取有標簽樣本集D_s的無標簽數據作為輸入，對SGRBM進行無監督預訓練，然后將LSTM-RNN、感知器和Softmax層的參數初始化，最后將整個有標簽樣本集D_s作為輸入，對SGRBM-LSTM-RNN進行有監督訓練，采用時間反向傳播算法調整整個網絡權重，得到訓練好的SGRBM-LSTM-RNN網絡；

步驟四：收集新的未知故障類別的工業過程數據，將過程變量標準化，然后按照離線建模時相同長度的時間窗滑取序列數據，得到新的序列樣本集d_s；

步驟五：將序列樣本集d_s輸入到步驟三訓練好的SGRBM-LSTM-RNN網絡中，通過網絡的前向傳播獲取LSTM-RNN最后一個長短時記憶單元的隱藏層特征，將其輸入感知器和Softmax分類器中，求取每個故障類別的后驗概率，根據最大后驗概率，實現對于該段序列的故障分類。