[發明專利]基于機器學習的中間件故障預警方法和系統

有效

• 申請號: 201911237337.3
• 申請日: 2019-12-05
• 公開（公告）號: CN111027615B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 李葉飛;王松云;姜麗麗;陳國琳;厲文婕;錢柱中
• 申請（專利權）人: 江蘇方天電力技術有限公司;南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00;G06Q50/06;G06F16/18
• 代理公司: 南京泉為知識產權代理事務所(特殊普通合伙) 32408
• 代理人: 許丹丹

1.一種基于機器學習的中間件故障預警方法，其特征在于包括如下步驟：

步驟(1)實時采集運行過程中的電力信息系統中間件的數據；所述電力信息系統中間件的數據包括中間件實時日志數據和中間件實時指標值數據；

步驟(2)對步驟(1)采集得到的實時日志數據進行安全性驗證；

步驟(3)對電力信息系統中間件的歷史日志數據和實時日志數據進行預處理；

步驟(4)以經步驟(3)預處理后的電力信息系統中間件的歷史日志數據和實時日志數據作為輸入，對基于機器學習的分類算法進行訓練，形成故障分類器；

步驟(5)通過基于機器學習的回歸算法分析中間件指標值與中間件故障的關系，擬合故障特征函數，并基于故障特征函數和故障分類器進行故障預警的實時判斷，從而實現基于電力信息系統中間件的實時故障預警；

所述步驟(3)中采用特征選擇方法對電力信息系統中間件的歷史日志數據和實時日志數據進行的預處理包括數據清理、數據轉換和數據歸并；所述特征選擇方法包括在預處理中采用過濾式算法對電力信息系統中間件的歷史日志數據和實時日志數據進行清理，以及在預處理中采用基于時間閾值和屬性相異度閾值的綜合歸并算法進行數據歸并。

2.根據權利要求1所述的基于機器學習的中間件故障預警方法，其特征在于：所述步驟(2)中的安全性驗證包括采用RSA加密技術的日志數據簽名和日志數據驗證。

3.根據權利要求1所述的基于機器學習的中間件故障預警方法，其特征在于：

其中數據清理是利用過濾式算法去除多余屬性值和錯誤日志，并采用插補法將空缺值補齊，以更新數據資源；

其中數據轉換是對數據清理后的數據進行數據泛化、數據規范化以及屬性構造處理，以提高數據精度；

其中數據歸并是將數據轉換后的數據中相同或相似度小于預設的相似度閾值的日志合并為一條日志；

所述預處理中進行清理的數據類型包括錯誤值和/或空缺值和/或重復數據和/或噪聲和/或矛盾數據；

所述預處理中的數據轉換中將日志數據分為管理配置類、流量控制類及攻擊事件類，并統一各類日志的格式。

4.根據權利要求1所述的基于機器學習的中間件故障預警方法，其特征在于：所述數據清理包括以下步驟：

M1)定義錯誤類型：包括數據分析和定義數據清洗規則；其中數據分析為根據數據的不一致性和錯誤實際情況，利用Python的pandas庫提取數據屬性來發掘數據錯誤；其中

定義數據清洗規則是對數據清洗和轉換的規則進行定義，制定數據清洗的語言并完成轉換代碼的生成；

M2)搜尋識別錯誤類型：包括自動檢測屬性錯誤及檢測重復記錄；其中自動檢測屬性錯誤通過統計法和聚類法對數據的屬性錯誤進行識別；其中重復記錄的檢測通過shingle算法對重復記錄的情況進行搜尋；

M3)糾正步驟M2)所發現的錯誤信息：包括對數據進行屬性分離、確認改正和標準化；M4)干凈數據回流：將經步驟M3)處理后的數據回傳至電力信息系統，并刪除電力信息系統中的原有數據。

5.根據權利要求1所述的基于機器學習的中間件故障預警方法，其特征在于：所述預處理中采用基于時間閾值和屬性相異度閾值的綜合歸并算法進行數據歸并包括以下步驟：

N1)當一條新日志到達時，計算其與上一條日志的時間間隔；

N2)若該時間間隔大于時間閾值，則直接作為新的歸并日志起點；

N3)判若時間間隔小于時間閾值，則計算屬性相異度；

N4)將屬性相異度小于預設閾值的日志記錄進行歸并；

N5)將屬性相異度大于預設閾值的日志記錄作為日志歸并新起點。