[發(fā)明專利]一種基于自我注意力機(jī)制與時序卷積網(wǎng)絡(luò)的工業(yè)設(shè)備故障預(yù)測方法

在審

• 申請?zhí)枺?/td>: 202110393245.5
• 申請日: 2021-04-13
• 公開（公告）號: CN113283631A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計）人: 包致成;張衛(wèi)山;王濤;于澤沛
• 申請（專利權(quán)）人: 中國石油大學(xué)（華東）
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q10/00;G06Q50/04;G06F16/215;G06F16/2458;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提出了一種基于自我注意力機(jī)制與時序卷積網(wǎng)絡(luò)的工業(yè)設(shè)備故障預(yù)測方法，其特征在于，對數(shù)據(jù)進(jìn)行預(yù)處理，再進(jìn)行時序處理與標(biāo)簽平移，再輸入多頭自注意力多維時序卷積網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并將工業(yè)設(shè)備運(yùn)行數(shù)據(jù)矩陣輸入模型進(jìn)行工業(yè)設(shè)備狀態(tài)預(yù)測。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)、工業(yè)大數(shù)據(jù)、工業(yè)設(shè)備故障診斷，具體涉及到一種基于自我注意力機(jī)制與時序卷積網(wǎng)絡(luò)的工業(yè)設(shè)備故障預(yù)測方法。

背景技術(shù)

工業(yè)決定著國民經(jīng)濟(jì)現(xiàn)代化的速度、規(guī)模和水平，在當(dāng)代世界各國國民經(jīng)濟(jì)中起著主導(dǎo)作用。隨著國內(nèi)工業(yè)智能化的快速發(fā)展，工業(yè)設(shè)備數(shù)量也在不斷增加，內(nèi)部結(jié)構(gòu)也越來越復(fù)雜，因此對工業(yè)設(shè)備故障進(jìn)行預(yù)測具有重要意義。近年來最接近本發(fā)明的技術(shù)有：

(1)、基于CNN網(wǎng)絡(luò)的工業(yè)設(shè)備故障預(yù)測方法：CNN是卷積神經(jīng)網(wǎng)絡(luò)的簡稱，是深度學(xué)習(xí)的算法之一，目前在圖像領(lǐng)域與數(shù)據(jù)挖掘領(lǐng)域有著廣泛的應(yīng)用，但是，使用CNN網(wǎng)絡(luò)進(jìn)行工業(yè)設(shè)備故障預(yù)測時無法考慮到數(shù)據(jù)的時序性。

(2)、基于LightGBM的工業(yè)設(shè)備故障預(yù)測方法：LightGBM使用的是histogram算法，占用的內(nèi)存更低，數(shù)據(jù)分隔的復(fù)雜度更低，其思想是將連續(xù)的浮點特征離散成k個離散值，并構(gòu)造寬度為k的Histogram，然后遍歷訓(xùn)練數(shù)據(jù)，統(tǒng)計每個離散值在直方圖中的累計統(tǒng)計量。在進(jìn)行特征選擇時，只需要根據(jù)直方圖的離散值，遍歷尋找最優(yōu)的分割點，但使用LightGBM處理時也無法有效對工業(yè)設(shè)備故障數(shù)據(jù)的時序性進(jìn)行處理。

為了彌補(bǔ)傳統(tǒng)方法無法對數(shù)據(jù)的時序性的挖掘，該方法充分利用時序卷積網(wǎng)絡(luò)與自我注意力機(jī)制的優(yōu)勢，實現(xiàn)了對工業(yè)設(shè)備故障預(yù)測的準(zhǔn)確率的進(jìn)一步提升。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)中的缺點與不足，本發(fā)明提出了一種基于自我注意力機(jī)制與時序卷積網(wǎng)絡(luò)的工業(yè)設(shè)備故障預(yù)測方法。通過運(yùn)用時序卷積網(wǎng)絡(luò)，從工業(yè)設(shè)備故障數(shù)據(jù)集中挖掘工業(yè)設(shè)備故障發(fā)生特征，利用因果卷積和擴(kuò)張卷積，在保證卷積網(wǎng)絡(luò)充足的感受野的條件下充分利用數(shù)據(jù)的時序性特征；運(yùn)用多頭自我注意力機(jī)制，分別從時間上和維度特征上找到與故障相關(guān)性最大的時間節(jié)點與特征信息，提高了故障預(yù)測的準(zhǔn)確性。

本發(fā)明的技術(shù)方案為：

步驟(1)：將工業(yè)設(shè)備數(shù)據(jù)進(jìn)行預(yù)處理，去除零值、異常值，使用擬合的方式填補(bǔ)缺失值，并時序化切割數(shù)據(jù)集形成工業(yè)設(shè)備時序數(shù)據(jù)集；

步驟(2)：根據(jù)預(yù)測需求與數(shù)據(jù)采集間隔，將工業(yè)設(shè)備時序數(shù)據(jù)集中的設(shè)備故障狀態(tài)情況進(jìn)行平移；

步驟(3)：搭建模型，并將工業(yè)設(shè)備時序數(shù)據(jù)集取前80％作為訓(xùn)練集，后20％作為測試集進(jìn)行切割，將訓(xùn)練集輸入多頭自注意力多維時序卷積網(wǎng)絡(luò)進(jìn)行一定次數(shù)的訓(xùn)練，使用測試集對網(wǎng)絡(luò)進(jìn)行測試，完成模型訓(xùn)練，存儲模型；

步驟(4)：在設(shè)備運(yùn)行時，將工業(yè)設(shè)備運(yùn)行數(shù)據(jù)進(jìn)行積累形成工業(yè)設(shè)備運(yùn)行數(shù)據(jù)矩陣，輸入到模型中；

步驟(5)：根據(jù)模型給出設(shè)備故障預(yù)測情況向用戶進(jìn)行展示，完成當(dāng)前時刻的設(shè)備故障預(yù)測，再反復(fù)進(jìn)行步驟(4)繼續(xù)下一時刻的工業(yè)設(shè)備故障預(yù)測；

本發(fā)明的有益效果：

(1)、通過運(yùn)用時序卷積網(wǎng)絡(luò)，從工業(yè)設(shè)備故障數(shù)據(jù)集中挖掘工業(yè)設(shè)備故障發(fā)生特征，利用因果卷積和擴(kuò)張卷積，在保證卷積網(wǎng)絡(luò)充足的感受野的條件下充分利用數(shù)據(jù)的時序性特征；

(2)、運(yùn)用多頭自我注意力機(jī)制，分別從時間上和維度特征上找到與故障相關(guān)性最大的時間節(jié)點與特征信息，提高了故障預(yù)測的準(zhǔn)確性。

附圖說明

為更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，以下部分將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡要介紹。描述中的附圖僅代表本發(fā)明的部分實施例，對于本領(lǐng)域普通技術(shù)人員，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。