[發明專利]一種基于孤立森林算法和神經網絡的電力運維數據清洗方法

有效

• 申請號: 201810559071.3
• 申請日: 2018-06-01
• 公開（公告）號: CN108776683B
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 李星南;曾瑛;蔡毅;李偉堅;施展;亢中苗
• 申請（專利權）人: 廣東電網有限責任公司;廣東電網有限責任公司電力調度控制中心
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06K9/62;G06N3/08;G06Q50/06
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于孤立森林算法和神經網絡的電力通信運維數據清洗方法，其特征在于，包括以下步驟：

S1、利用改進的孤立森林算法，構造解決目標問題的孤立森林模型iForest；

所述S1的具體包括如下：

S11、方法的開始階段，首先將屬性分組；

S12、從訓練數據集中隨機選擇ψ個樣本數據點作為子采樣集，并構造一棵初始iTree，將子采樣集放入樹的根節點；ψ為隨機選擇的樣本數據點個數；

S13、隨機指定數據項的一個屬性組，在當前節點數據中選擇劃分切割點；

S14、以此切割點生成一個超平面，將當前節點的數據空間劃分為兩個子空間，并劃分數據項；

S15、遞歸構造新的孩子節點，直到孩子節點中只有一個數據項，即無法繼續切割；或該iTree已經達到初始定義好的限定高度；

S2、定義孤立森林算法對異常數據的評價體系；

S3、訓練學習速率自適應BP神經網絡對通過孤立森林檢測出的異常數據屬性進行預測修正；

所述S3具體包括：

S31、隨機選取數據集中小批量的數據樣本，即輸入向量與輸出期望值的組合，代入神經網絡；

S32、逐層進行前向傳播過程，根據式(4)和式(5)計算神經網絡各層的激活值：

其中W表示BP神經網絡中的權值參數，表示第l層第j單元與第l+1層第i單元之間的權值參數；b：BP神經網絡中的閾值參數，表示第l+1層第i單元的偏置；f表示激活函數，μ的取值范圍為(0,1)，表示第l層第i單元的激活值，通過逐層計算，直到得出神經網絡的輸出值h_W,b(x)；

S33、根據式(6)計算期望值與實際輸出的誤差：

其中，h_W,b(x)表示神經網絡經過前向傳播取得的輸出值，y表示期望值，W和b分別表示權值矩陣與閾值矩陣，J表示誤差；

S34、根據式(7)計算整體代價函數，若函數收斂到全局極小值則結束，否則轉S35；

其中，L表示神經網絡的整體代價函數，m表示樣本數量；

S35、進行反向傳播過程，反向傳播的過程是通過梯度下降算法調整神經網絡各層的參數，不斷使代價函數減小，首先計算各神經元的誤差，并根據式(8)求出誤差梯度：

其中，表示代價函數對權值參數的誤差梯度；

S36、判斷梯度變化趨勢，自適應調整神經網絡的學習速率，如果相鄰兩次梯度調整為同方向，則根據式(9)增大學習速率，如果相鄰兩次梯度調整為相反方向，則說明梯度變化波動較大，根據式(10)減小學習速率：

其中，α_k+1表示k+1時刻神經網絡的學習速率，用于控制神經網絡反向傳播過程中梯度變化的速度，α_k表示k時刻神經網絡的學習速率，和分別表示k時刻和k-1時刻計算的梯度值，并引入動量因子η，取值為(0,1)；

S37、根據式(11)和式(12)的梯度下降算法更新權值參數和閥值參數，α表示當前學習速率，然后返回S31，

2.根據權利要求1所述的一種基于孤立森林算法和神經網絡的電力通信運維數據清洗方法，其特征在于，所述S2具體包括：

S21、選定測試數據x，將其代入森林中的每一棵iTree；x表示測試數據；

S22、計算其落在每棵樹的深度h(x)，并計算所有h(x)的平均值E(h(x))；其中h(x)表示測試數據點落在每棵樹的深度；E(h(x))表示所有h(x)的平均值；

S23、根據式(1)設置標準平均搜索長度c(ψ)：

c(ψ)＝2H(ψ-1)-(2(ψ-1)/ψ) 式(1)

其中H(i)按式(2)計算：

H(i)＝ln(i)+Ec 式(2)

Ec為歐拉常數，其值為0.5772；c(ψ)表示iTree的標準平均搜索長度；

S24、根據式(3)定義待測數據的異常評分s(x,ψ)：

s(x,ψ)表示待測數據的異常評分，異常評分值越接近1，說明數據為異常數據的可能性越大。