[發明專利]一種基于改進IForest的工業數據去噪方法

在審

• 申請號: 201811439128.2
• 申請日: 2018-11-29
• 公開（公告）號: CN109543765A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 孫杰;李鵬飛;丁有偉;陳智也;沈祥紅
• 申請（專利權）人: 江蘇海平面數據科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 南京品智知識產權代理事務所(普通合伙) 32310
• 代理人: 奚曉寧;楊陳慶

1.一種基于改進IForest的工業數據去噪方法，其特征在于，包括如下步驟：

1）構建初始孤立森林IForest；

1-1）構建樹iTree；

1-2）將所有的樹iTree組合起來形成了初始的孤立森林IForest；該孤立森林作為初始的異常檢測器；

2）在線異常檢測；

對每個到達的數據，將其對應的不同種類的數據放入步驟1）中已經建好的孤立森林中，判斷異常狀況，如果根據輸入數據平均深度得到的異常得分高于預先設定的閾值，說明該到達數據沒有達到普遍水平，是異常數據；

3）判斷是否需要更新檢測器；

根據用戶預先定義的應用規模進行計算，如果存放樣本的緩沖區已滿，則對檢測器進行更新。

2.根據權利要求1所述的基于改進IForest的工業數據去噪方法，其特征在于，孤立森林IForest是由大量的樹iTree構成；iTree是一種隨機二叉樹，每個節點要么有兩個孩子，要么就是葉子節點；給定歷史數據集D， D中所有屬性都是連續型的變量，iTree的構成過程如下：

1-1-1）在所給定的歷史數據集D中隨機選擇一個屬性Qi；

1-1-2）隨機選擇該屬性的一個值q，該值介于最大和最小值之間；

1-1-3）根據步驟1-1-1）中所述的屬性Qi對每條記錄進行分類，把屬性Qi值小于q的記錄放在左孩子，把屬性Qi值大于等于q的記錄放在右孩子；

1-1-4）遞歸的構造左孩子和右孩子，直到滿足傳入的數據集只有一條記錄或者多條一樣的記錄或者樹的高度達到了限定高度l；修改孤立森林的路徑數N，其初值為0。

3.根據權利要求1所述的基于改進IForest的工業數據去噪方法，其特征在于，步驟2）中，在所述到達的數據到達時，要基于泊松分布，判斷該樣本是否作為更新樣本添加到設定好存放樣本數據的緩沖區，在所述緩沖區中，樣本數據按照時間先后順序排列。

4.根據權利要求1所述的基于改進IForest的工業數據去噪方法，其特征在于，步驟2）中變壓器數據異常的檢測過程，包括如下步驟：

2-1）首先收集變壓器歷史數據，其中變壓器歷史數據包括電壓比、工作頻率、電感量、防護等級以及滿載性能；對這些不同類型的數據進行整理，使用數值表示；

將上述歷史數據按照IForest算法建立孤立森林，用作進行異常檢測的模型；

2-2）將進行實驗確定異常數據得分的閾值設為0.5；當設備運行數據到來時，對其中各種類型的數據在孤立森林中進行深度計算，求其均值，并按照異常得分函數計算其異常得分，如果超過閾值0.5，則進行預警，說明當前到來數據存在異常；如果沒有超過閾值0.5，則等待下一次設備運行數據的到來；

在運行數據到達的時候還應該對其服從的分布情況計算，如果服從泊松分布，而且緩沖區不滿時，應將該數據加入緩沖區；

2-3）當緩沖區已滿，或者固定更新異常檢測模型的時間到了，則需要對異常檢測模型，也就是IForest進行更新，以確保異常檢測的準確性。

5.根據權利要求1所述的基于改進IForest的工業數據去噪方法，其特征在于，步驟（3）判斷是否需要更新檢測器；根據局部性原理，對于即將到來的數據，新數據比舊數據更有價值，因此，設定固定時間對緩沖區中舊數據進行淘汰，以便新數據到來時方便存放；其具體步驟如下：

3-1）根據用戶預先定義的應用規模計算異常率，如果到了固定的更新時間或樣本緩沖區已滿，則對檢測器進行更新；

3-2）根據用戶預先定義的應用規模進行計算，如果存放樣本的緩沖區已滿，則對檢測器進行更新；

最終返回更新的異常檢測器，也就是孤立森林IForest’。