[發明專利]一種基于KPI聚類的大規模異常檢測系統

在審

• 申請號: 202110821875.8
• 申請日: 2021-07-19
• 公開（公告）號: CN113723452A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 王小華;潘曉光;焦璐璐;張娜;宋曉晨
• 申請（專利權）人: 山西三友和智慧信息技術股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 深圳科潤知識產權代理事務所(普通合伙) 44724
• 代理人: 周曉菊

1.一種基于KPI聚類的大規模異常檢測系統，其特征在于：包括下列模塊：預處理模塊、基線提取模塊、聚類模塊、分類模塊、日志模塊，各模塊之間通過數據傳輸連接，所述預處理模塊使用線性插值的方法，來根據KPI相鄰的數據點來填充KPI缺失的百分比；所述基線提取模塊移除可能是異常的極端值；所述聚類模塊使用基于密度的聚類方法在基于形狀相似性的抽樣KPI基線上執行基于密度的聚類；所述分類模塊計算新數據與之前每一個質心的距離，進行距離的排序，將最小的那一類確定為所分類別，且將最小距離大于某個閾值時這條新的時間序列曲線確定為不屬于之前的任何一個類別；所述日志模塊記錄不屬于任何一個類別的曲線。

2.根據權利要求1所述的一種基于KPI聚類的大規模異常檢測系統，其特征在于：所述預處理模塊中，首先進行標準化，將每個KPI歸一化為均值和單位方差為零，刪除與均值偏差最大的前5％數據，然后使用線性插值來填充它們，移除極端異常值，并用它們的臨近正常觀測值替代。

3.根據權利要求2所述的一種基于KPI聚類的大規模異常檢測系統，其特征在于：所述基線提取模塊中，將曲線分為基線和殘差兩部分，對于一個KPI，設置時間為T，維持一個長度為W的滑動窗口，步長設置為1，對于每個點xt，對應的基線上的點記為xt*，求出xt和xt*之間的差異，得到殘差，確定基線B和殘差R計算為：基線提取后再次標準化，獲得標準化基線，再將此基線作為聚類算法的輸入。

4.根據權利要求3所述的一種基于KPI聚類的大規模異常檢測系統，其特征在于：所述聚類模塊中，選取DBSCAN聚類算法，在密集區域找到一些核，然后通過相似性的傳遞性拓展核以形成團簇。

5.根據權利要求4所述的一種基于KPI聚類的大規模異常檢測系統，其特征在于：所述聚類模塊中，考慮兩條時間序列X＝[x1,x2,…,xm]和Y＝[y1,y2,…,ym]的偏移量s，計算它們之間的內積：通過偏移量s計算出X和Y的最大相似度，然后通過內積計算出兩條時間序列X和Y之間的距離然后將計算出的距離用作DBSCAN聚類方法，聚類得到多個聚類簇，對應不同類別。

6.根據權利要求5所述的一種基于時間序列變點檢測的改進方法，其特征在于：所述分類模塊中，將一條新的KPI數據放入預處理模塊和基線提取模塊，通過線性插值，基線提取，基線標準化，變成可計算的數據形式。

7.根據權利要求6所述的一種基于時間序列變點檢測的改進方法，其特征在于：所述分類模塊中，將處理好的新數據放入分類模塊，在分類模塊中設置一個閾值，分類模塊計算聚類簇中的每個質心與新數據之間的距離，然后按照從小到大的順序進行排序，分類模塊認為最小的距離所屬的簇就是新數據應該被歸為的類別，且將如最小距離大于分類模塊中設置的閾值的數據存入日志模塊，不認為其屬于任何一個類別。