[發明專利]一種基于KPI聚類的大規模異常檢測系統

在審

• 申請號: 202110821875.8
• 申請日: 2021-07-19
• 公開（公告）號: CN113723452A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 王小華;潘曉光;焦璐璐;張娜;宋曉晨
• 申請（專利權）人: 山西三友和智慧信息技術股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 深圳科潤知識產權代理事務所(普通合伙) 44724
• 代理人: 周曉菊

本發明屬于KPI異常檢測技術領域，具體涉及一種基于KPI聚類的大規模異常檢測系統，包括如下模塊：預處理模塊、基線提取模塊、聚類模塊、分類模塊、日志模塊，所述預處理模塊使用線性插值的方法，來根據KPI相鄰的數據點來填充KPI缺失的百分比；所述基線提取模塊移除可能是異常的極端值；所述聚類模塊使用基于密度的聚類方法在基于形狀相似性的抽樣KPI基線上執行基于密度的聚類；所述分類模塊計算新數據與之前每一個質心的距離，進行距離的排序，將最小的那一類確定為所分類別，且將最小距離大于某個閾值時這條新的時間序列曲線確定為不屬于之前的任何一個類別；所述日志模塊記錄不屬于任何一個類別的曲線。

技術領域

本發明屬于KPI異常檢測技術領域，具體涉及一種基于KPI聚類的大規模異常檢測系統。

背景技術

目前基于互聯網的服務公司監控其應用程序和系統的數千到數百萬個KPI，以保持其服務的可靠性。KPI上的異常通常表明相關應用程序的潛在故障，如服務器故障、網絡過載、外部攻擊等。因此，異常檢測技術被廣泛應用于及時檢測異常事件，以減小異常事件造成的損失。

存在問題或缺陷的原因：大多數異常檢測算法假設每個KPI都需要一個單獨的模型。因此，由于模型選擇、參數調整、模型訓練或異常標記的巨大開銷，在數千到數百萬KPI上進行大規模異常檢測非常具有挑戰性。此外，在做時間序列聚類的時候，有著不少的挑戰。例如節假日效應，業務的變化將會隨著時間的推移而造成時間序列形狀的變化；數據采集處理時的噪聲；系統或人為原因產生的左右偏移；振幅、基線的變化等等。

發明內容

針對上述方法每個KPI都需要一個單獨的模型、節假日效應等問題，本發明提供了一種顯著降低建模成本且高效率的系統。

為了解決上述技術問題，本發明采用的技術方案為：

一種基于KPI聚類的大規模異常檢測系統，包括下列模塊：預處理模塊、基線提取模塊、聚類模塊、分類模塊、日志模塊，各模塊之間通過數據傳輸連接，所述預處理模塊使用線性插值的方法，來根據KPI相鄰的數據點來填充KPI缺失的百分比；所述基線提取模塊移除可能是異常的極端值；所述聚類模塊使用基于密度的聚類方法在基于形狀相似性的抽樣KPI基線上執行基于密度的聚類；所述分類模塊計算新數據與之前每一個質心的距離，進行距離的排序，將最小的那一類確定為所分類別，且將最小距離大于某個閾值時這條新的時間序列曲線確定為不屬于之前的任何一個類別；所述日志模塊記錄不屬于任何一個類別的曲線。

所述預處理模塊中，首先進行標準化，將每個KPI歸一化為均值和單位方差為零，刪除與均值偏差最大的前5％數據，然后使用線性插值來填充它們，移除極端異常值，并用它們的臨近正常觀測值替代。

所述基線提取模塊中，將曲線分為基線和殘差兩部分，對于一個KPI，設置時間為T，維持一個長度為W的滑動窗口，步長設置為1，對于每個點xt，對應的基線上的點記為xt*，求出xt和xt*之間的差異，得到殘差，確定基線B和殘差R計算為：基線提取后再次標準化，獲得標準化基線，再將此基線作為聚類算法的輸入。

所述聚類模塊中，選取DBSCAN聚類算法，在密集區域找到一些核，然后通過相似性的傳遞性拓展核以形成團簇。

所述聚類模塊中，考慮兩條時間序列X＝[x1,x2,…,xm]和Y＝[y1,y2,…,ym]的偏移量s，計算它們之間的內積：

通過偏移量s計算出X和Y的最大相似度，然后通過內積計算出兩條時間序列X和Y之間的距離然后將計算出的距離用作DBSCAN聚類方法，聚類得到多個聚類簇，對應不同類別。

所述分類模塊中，將一條新的KPI數據放入預處理模塊和基線提取模塊，通過線性插值，基線提取，基線標準化，變成可計算的數據形式。