[發(fā)明專利]一種基于稀疏高斯伯努利受限玻爾茲曼機(jī)和循環(huán)神經(jīng)網(wǎng)絡(luò)的故障分類模型及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810295725.6
• 申請(qǐng)日: 2018-03-30
• 公開（公告）號(hào): CN108875771B
• 公開（公告）日: 2020-04-10
• 發(fā)明（設(shè)計(jì)）人: 葛志強(qiáng);孫慶強(qiáng);楊杰;宋執(zhí)環(huán)
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

本發(fā)明公開一種基于稀疏高斯伯努利受限玻爾茲曼機(jī)和循環(huán)神經(jīng)網(wǎng)絡(luò)的故障分類模型及方法，它由稀疏高斯伯努利受限玻爾茲曼機(jī)、長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)、感知器和Softmax輸出層組成；稀疏高斯伯努利受限玻爾茲曼機(jī)能夠從無標(biāo)簽數(shù)據(jù)中學(xué)習(xí)數(shù)據(jù)的非線性特征，循環(huán)神經(jīng)網(wǎng)絡(luò)可以很好的處理序列數(shù)據(jù)，采用長短時(shí)記憶單元?jiǎng)t解決了網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)的梯度消失或梯度爆炸問題，感知器和Softmax輸出層增強(qiáng)了網(wǎng)絡(luò)的有監(jiān)督分類能力，本發(fā)明的模型具有對(duì)非線性數(shù)據(jù)和動(dòng)態(tài)性數(shù)據(jù)的優(yōu)良的特征提取和感知能力，可以有效地解決因過程數(shù)據(jù)的非線性和故障數(shù)據(jù)動(dòng)態(tài)性等特點(diǎn)導(dǎo)致的故障分類準(zhǔn)確率低的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于工業(yè)過程故障診斷和分類領(lǐng)域，涉及一種基于稀疏高斯伯努利受限玻爾茲曼機(jī)和循環(huán)神經(jīng)網(wǎng)絡(luò)的故障分類模型及方法。

背景技術(shù)

在過程監(jiān)測(cè)中，當(dāng)檢測(cè)到故障發(fā)生時(shí)，根據(jù)異常的過程傳感數(shù)據(jù)，及時(shí)準(zhǔn)確的識(shí)別并判斷故障類別，對(duì)于保障工業(yè)過程的安全運(yùn)行和產(chǎn)品的優(yōu)質(zhì)產(chǎn)出具有至關(guān)重要的意義。精確的故障分類可以幫助操作人員進(jìn)一步定位故障發(fā)生的環(huán)節(jié)和引發(fā)故障的過程變量，有助于故障清除和過程恢復(fù)，因此故障分類在工業(yè)生產(chǎn)中有不容忽視的地位。

隨著現(xiàn)代工業(yè)規(guī)模日趨龐大，過程數(shù)據(jù)也越來越復(fù)雜，過程變量之間往往存在較強(qiáng)的非線性關(guān)系，導(dǎo)致基于線性假設(shè)的傳統(tǒng)建模方法在工業(yè)數(shù)據(jù)的故障分類中往往會(huì)造成故障的錯(cuò)分或者無法準(zhǔn)確識(shí)別故障發(fā)生的種類，因此具有很大的局限性，不再能適應(yīng)數(shù)據(jù)特性越趨復(fù)雜的實(shí)際工業(yè)背景。近年來，隨著深度學(xué)習(xí)的方法被廣泛的研究和應(yīng)用，基于神經(jīng)網(wǎng)絡(luò)的方法在處理非線性數(shù)據(jù)上具有優(yōu)良的表現(xiàn)，其中稀疏高斯伯努利受限玻爾茲曼機(jī)作為生成模型可以從無標(biāo)簽數(shù)據(jù)中有效地提取訓(xùn)練數(shù)據(jù)的非線性特征，從而在很多領(lǐng)域得到廣泛的應(yīng)用。

在傳統(tǒng)的受限玻爾茲曼機(jī)的訓(xùn)練過程中，都需要假設(shè)數(shù)據(jù)樣本是獨(dú)立的，然而由于過程的反饋、自相關(guān)的噪聲干擾等，都會(huì)導(dǎo)致數(shù)據(jù)的動(dòng)態(tài)性(也稱為自相關(guān)性)。動(dòng)態(tài)性已成為工業(yè)過程故障數(shù)據(jù)不容忽視的重要特征，因此在實(shí)際建模中就需要一個(gè)動(dòng)態(tài)模型來克服數(shù)據(jù)的動(dòng)態(tài)性問題，通過在故障分類模型中引入動(dòng)態(tài)方法以期提高故障區(qū)分準(zhǔn)確性。

發(fā)明內(nèi)容

針對(duì)目前工業(yè)過程中有標(biāo)簽樣本少、非線性和動(dòng)態(tài)性強(qiáng)等問題，本發(fā)明提出了一種基于稀疏高斯伯努利受限玻爾茲曼機(jī)和循環(huán)神經(jīng)網(wǎng)絡(luò)的故障分類模型及方法，該方法將稀疏高斯伯努利受限玻爾茲曼機(jī)和長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)相結(jié)合成為SGRBM-LSTM-RNN網(wǎng)絡(luò)，實(shí)現(xiàn)了對(duì)工業(yè)過程中故障的精確分類。

本發(fā)明具體技術(shù)方案如下：

一種基于稀疏高斯伯努利受限玻爾茲曼機(jī)和循環(huán)神經(jīng)網(wǎng)絡(luò)的故障分類模型，其特征在于，該模型簡(jiǎn)稱為SGRBM-LSTM-RNN，共分為四部分，第一部分包含k個(gè)稀疏高斯伯努利受限玻爾茲曼機(jī)網(wǎng)絡(luò)，即SGRBM，其中k為序列長度，每個(gè)SGRBM包含一個(gè)輸入層和一個(gè)隱藏層；第二部分包含k個(gè)長短時(shí)記憶單元組成的長短時(shí)記憶循環(huán)神經(jīng)網(wǎng)絡(luò)，即LSTM-RNN；第三部分是一個(gè)單隱藏層的感知器，第四部分是Softmax網(wǎng)絡(luò)層；其中第k個(gè)長短時(shí)記憶單元的隱藏層狀態(tài)輸出至感知器中，再由Softmax網(wǎng)絡(luò)層輸出每個(gè)類別的后驗(yàn)概率；模型相關(guān)的參數(shù)包括輸入序列的長度k，SGRBM的輸入層和隱藏層的連接權(quán)重W₁，輸入層和隱藏層的偏置a，b₁,LSTM-RNN中遺忘門、輸入門和輸出門的權(quán)重和偏置W_f，b_f，W_i，b_i，W_o，b_o，第k個(gè)LSTM單元到感知器的隱藏層的權(quán)重和偏置W₂，b₂，感知器的隱藏層到Softmax層的權(quán)重和偏置W₃，b₃；該模型對(duì)應(yīng)數(shù)據(jù)的輸入變量為序列X，輸出變量為Y，LSTM-RNN的細(xì)胞狀態(tài)和隱藏層輸出分別為C和h；

所述的SGRBM-LSTM-RNN模型的訓(xùn)練過程分為三個(gè)階段：

(1)SGRBM無監(jiān)督預(yù)訓(xùn)練