[發明專利]一種基于孤立森林算法和神經網絡的電力運維數據清洗方法

有效

• 申請號: 201810559071.3
• 申請日: 2018-06-01
• 公開（公告）號: CN108776683B
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 李星南;曾瑛;蔡毅;李偉堅;施展;亢中苗
• 申請（專利權）人: 廣東電網有限責任公司;廣東電網有限責任公司電力調度控制中心
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06K9/62;G06N3/08;G06Q50/06
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明提供一種電力通信運維數據的清洗方法，更具體地，涉及一種基于孤立森林算法和神經網絡的電力運維數據清洗方法，包括：首先利用改進的孤立森林算法，構造解決目標問題的孤立森林模型iForest；然后定義孤立森林算法對異常數據的評價體系；通過訓練BP神經網絡對通過孤立森林檢測出的異常數據屬性進行預測修正。本發明針對基于孤立森林算法和神經網絡的電力通信運維數據清洗方法進行優化，提高了異常檢測精確度并降低數據修正誤差，為電力運維數據清洗程序在異常數據定位準確性、數據修正準確率、訓練時間和資源占用等方面都得到了有效的優化。

技術領域

本發明提供一種電力通信運維數據的清洗方法，更具體地，涉及一種基于孤立森林算法和神經網絡的電力運維數據清洗方法。

背景技術

隨著電力通信網的蓬勃發展，電力運維數據體量越來越大，電力部門對數據可靠性的要求也越來越高。在電力運維數據的傳輸與存儲過程中，受外界干擾與傳輸誤差等影響，不可避免會產生噪聲、數據缺失、數據錯誤等不良數據問題；電力數據含有多維屬性且分別由不同設備獲取，給數據的異常檢測提出了挑戰。傳統的計算均值與回歸分析等數據修正方式無法準確地學習整個數據集的特征與規律，特別是當數據維度較高的情況，導致了數據修正誤差較大。目前，數據清洗主要包括一致性檢驗，錯誤值、缺失值和無效值的處理等機制，可采用人工神經網絡算法提高數據質量。專利201610370415.7針對RFID數據公開了一種數據清洗方法，通過硬件EPC(Electronic product code，電子產品碼)過濾器來過濾編碼錯誤的數據，從而實現了對重復數據的清洗。但是該方法沒有針對缺失值和無效值進行修正，同時由于硬件處理能力受限，不適合處理大規模屬性復雜的電力運維數據；專利201510129479.3在數據倉庫中基于ETL機制進行數據清洗，清洗范圍大，算法執行效率高。但由于電力運維數據含有多維屬性，數據體量、規模巨大，屬性復雜，上述方案在清洗精度和數據質量等方面仍有不足。選擇高效的數據清洗方法為電力運維數據的分析和挖掘提供了重要支撐，對電力運維綜合效益的提高具有重要意義。

發明內容

本發明為克服上述現有技術所述的至少一種缺陷，提供一種基于孤立森林算法和神經網絡的電力運維數據清洗方法，本方法改善了孤立森林算法的分支步驟，提高了孤立森林模型的效率和準確性，使學習速率隨著網絡的變化趨勢自適應調整，改善BP神經網絡的性能。此方法在異常數據定位準確性、數據修正準確率、訓練時間和資源占用等方面都得到了有效的優化。

為解決上述技術問題，本發明的技術方案如下：

一種基于孤立森林算法和神經網絡的電力運維數據清洗方法，其特征在于，包括以下步驟：

S1、利用改進的孤立森林算法，構造解決目標問題的孤立森林模型iForest；

S2、定義孤立森林算法對異常數據的評價體系；

S3、訓練學習速率自適應BP神經網絡對通過孤立森林檢測出的異常數據屬性進行預測修正。

作為優選，所述步驟S1的具體包括如下：

S11、方法的開始階段，首先將屬性分組；

S12、從訓練數據集中隨機選擇ψ個樣本數據點作為子采樣集，并構造一棵初始iTree，將子采樣集放入樹的根節點；ψ為隨機選擇的樣本數據點個數；

S13、隨機指定數據項的一個屬性組，在當前節點數據中選擇劃分切割點；

S14、以此切割點生成一個超平面，將當前節點的數據空間劃分為兩個子空間，并劃分數據項；

S15、遞歸構造新的孩子節點，直到孩子節點中只有一個數據項(無法繼續切割)或該iTree已經達到初始定義好的限定高度。

作為優選，所述的步驟S2具體包括：

S21、選定測試數據x，將其代入森林中的每一棵iTree；x表示測試數據；