[發明專利]基于降維的分層時間記憶工業異常檢測方法與裝置

有效

• 申請號: 202010610214.6
• 申請日: 2020-06-30
• 公開（公告）號: CN111898639B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 張鵬程;楊睿
• 申請（專利權）人: 河海大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/215;G06F16/2458;G01D21/02
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

本發明提出了一種基于降維的分層時間記憶工業異常檢測方法與裝置。該方法包括：獲取待檢測的工業傳感器產生的多維時間序列相應的數據集；對原始數據進行去噪處理；根據數據集具有的維度數量抽象為相對應數量的維度信息頂點；計算維度之間的相關性數值并將其賦予圖中相應的邊作為權重值；根據維度之間相關度進行最小生成樹選擇聚類；對形成的塊簇使用PCA降維；獲取到降維之后的特征數據進行分層時間記憶模型判斷異常。通過本發明通過相關性維數選擇進行降維，去除冗余特征，降低計算量，可以及時的發現工業傳感器時間序列數據流中的時間點異常，并且避免了收集工業上正常數據集對模型進行訓練的繁瑣。

技術領域

本發明涉及工業傳感器多維時間數據異常檢測領域，特別涉及一種適用于工業生成快速數據流的基于降維的分層時間記憶工業異常檢測方法。

背景技術

近年來，隨著物聯網和人工智能的發展，各個領域發生了革命性的變化。工業4.0就是其中之一。工業4.0又叫做工業的智能制造。旨在實現高度靈活的自動化生產過程。工廠生產線的傳感設備收集的真實數據越來越多，形成了源源不斷的數據流。而往往這樣的數據流可以用時間序列的模式表示，并且大多以多維時間序列形式存在。對這樣的工業傳感器形成的多維時間序列，對其進行數據挖掘和有效的數據分析是極其重要并且有意義的。而從數據挖掘的異常檢測方面來說，面對著龐大且復雜，具有極強的動態性的工業傳感器數據也面對著不同的問題和挑戰。

目前的異常檢測方法多種多樣但是還存在著一些問題：

1.針對工業數據產生的快速、廣泛、高維度的數據進行的異常檢測耗時較長，計算量較大；

2.并且由于工業數據極強的動態性容易導致數據流隨著時間的推移而產生底層數據分布變化的概念漂移現象，導致模型準確率降低；

3.其他模型的訓練需要預先知道數據的標簽或者過于理想化的假設，這需要一些額外專家知識的介入進行提前判斷，耗時耗力。

發明內容

發明目的：針對工業生產傳感器生成的數據流數據量大，動態性強的特點，存在著維數高，模型訓練時間長等問題，本發明目的在于提供一種基于降維的分層時間記憶工業異常檢測方法與裝置，不需要提前的預訓練，可以直接捕捉數據中上下文環境進行異常檢測，從而提高異常檢測速度和準確率。

技術方案：為實現上述發明目的，本發明所述的一種基于降維的分層時間記憶工業異常檢測方法，包括如下步驟：

(1)獲取待檢測的工業傳感器產生的多維時間序列相應的數據集，其中維度包括不同位置工業傳感器的控制信號，以及采集的溫度、壓力、控制信號、液體或者氣體濃度等信息；

(2)對數據集進行數據噪聲處理從而減小時間序列中包含的噪音；

(3)根據數據集具有的維度數量抽象為相對應數量的維度信息頂點；

(4)計算維度之間的相關性數值并將其賦予圖中相應的邊作為權重值；

(5)將圖分割成為一棵最小生成樹，之后斷開其中權重較大的k-1條邊，形成k個簇；其中k為預先設定的數值，為數據集維度的10％-15％；

(6)使用主成分分析對每個簇進行降維；

(7)降維之后的數據輸入分層時間記憶HTM模型預測形成綜合的異常分數并且與閾值比較進行點異常判定。

作為優選，數據預處理部分使用非線性小波變換閾值去噪，帶有噪聲的工業數據可以通過降噪來提高異常檢測的準確率。所述步驟(2)具體步驟如下：

(21)將各個維度含噪數據采用Mallat算法進行小波變換；

(22)對得到的小波系數采用軟閾值法進行閾值處理；

(23)根據閾值處理后得到的小波系數進行逆小波變換處理，得到去噪后的數據。