[發(fā)明專利]一種基于聚類的大規(guī)模不規(guī)則KPI時間序列的異常檢測方法

有效

• 申請?zhí)枺?/td>: 202110598652.X
• 申請日: 2021-05-31
• 公開（公告）號: CN113378900B
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計）人: 何施茗;李卓宙;王進;徐超;熊兵;鄺利丹
• 申請（專利權(quán)）人: 長沙理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 廣州嘉權(quán)專利商標事務所有限公司 44205
• 代理人: 肖云

本發(fā)明公開了一種基于聚類的大規(guī)模不規(guī)則KPI時間序列的異常檢測方法，通過對大規(guī)模不規(guī)則KPI進行預處理，將多個長度不一的KPI，組成含有全部KPI元素的規(guī)則KPI填充矩陣，再對該規(guī)則KPI填充矩陣進行聚類，獲得多個子聚類。若聚類中心點之間的距離不小于預設(shè)閾值且迭代次數(shù)不大于預設(shè)閾值，則進行迭代，對每個子聚類中的KPI進行MF填充產(chǎn)生子規(guī)則KPI填充矩陣，并使用全部子規(guī)則KPI填充矩陣合成規(guī)則KPI填充矩陣作為下一次聚類的輸入，實現(xiàn)聚類——填充——聚類——填充的循環(huán)體系；若聚類中心點之間的距離小于預設(shè)閾值或迭代次數(shù)大于預設(shè)閾值，則認為整個循環(huán)迭代完成，大規(guī)模不規(guī)則KPI被劃分為若干聚類簇，在每個聚類簇中應用相同的異常檢測模型，可以有效的降低開銷，實現(xiàn)高效率的異常檢測。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機網(wǎng)絡(luò)運行維護技術(shù)領(lǐng)域，特別涉及一種基于聚類的大規(guī)模不規(guī)則KPI時間序列的異常檢測方法。

背景技術(shù)

大型計算機、通信網(wǎng)絡(luò)環(huán)境下，為了保證向海量用戶提供可靠、高效的服務，互聯(lián)網(wǎng)服務的運維人員通常會使用一些關(guān)鍵性能指標來監(jiān)測這些應用的服務性能。比如，一個應用服務在單位時間內(nèi)被訪問的次數(shù)，單位時間交易量，閃退、網(wǎng)絡(luò)帶寬、內(nèi)存量等，這些指標被稱為KPI指標(key performance indicator,KPI)。

KPI可以劃分為規(guī)則KPI與不規(guī)則KPI兩大類。其中，對于規(guī)則KPI，現(xiàn)有的異常檢測模型已具有良好的檢測效果，但是對于不規(guī)則KPI，由于其本身的復雜性，現(xiàn)有的異常檢測模型無法很好的處理這一類KPI。

在對這些大規(guī)模不規(guī)則KPI進行異常檢測時，如果選擇為每條不規(guī)則KPI單獨建立異常檢測模型進行參數(shù)調(diào)優(yōu)、模型訓練及異常標注，則必定會產(chǎn)生極大運維的開銷。因此，可以通過對不規(guī)則KPI進行聚類，同一類KPI復用異常檢測模型，來減少訓練開銷。然而，常用聚類方法的距離和相似度度量指標無法很好的應用于不規(guī)則KPI的聚類。最直接簡單的方法是進行截斷或者對不規(guī)則KPI進行插值填補后，再使用現(xiàn)有的聚類方法。然而，截斷或者插值很大程度上影響聚類效果。雖然可以利用MF(matrices fraction，矩陣分解)將不規(guī)則KPI進行對齊，但MF混淆了所有的KPI的信息，減少了KPI中各個類之間的差異，聚類錯誤率反而高于截斷，導致最后的異常檢測結(jié)果準確率很低。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題。為此，本發(fā)明提出一種基于聚類的大規(guī)模不規(guī)則KPI時間序列的異常檢測方法，通過不斷聚類與MF填充，使最終獲取的聚類結(jié)果趨于穩(wěn)定，基于該聚類結(jié)果的異常檢測模型聚類性能突出，能夠高效的進行異常檢測作業(yè)。

第一方面，本發(fā)明實施例提供了一種基于聚類的大規(guī)模不規(guī)則KPI時間序列的異常檢測方法，包括以下步驟：

S1、將多個不規(guī)則KPI進行預處理，合成規(guī)則KPI填充矩陣；

S2、對所述規(guī)則KPI填充矩陣進行聚類，獲得多個子聚類；

S3、設(shè)置迭代條件，若迭代前后聚類中心點之間的距離小于預設(shè)閾值或迭代次數(shù)大于預設(shè)閾值，則迭代完成轉(zhuǎn)入S5，若迭代前后聚類中心點之間的距離不小于預設(shè)閾值且迭代次數(shù)不大于預設(shè)閾值，則繼續(xù)迭代轉(zhuǎn)入S4；

S4、對每個所述子聚類中的KPI進行MF填充產(chǎn)生子規(guī)則KPI填充矩陣，并使用全部所述子規(guī)則KPI填充矩陣合成規(guī)則KPI填充矩陣，轉(zhuǎn)入S2；

S5、基于聚類得到的規(guī)則KPI結(jié)果進行大規(guī)模規(guī)則KPI異常檢測。

根據(jù)本發(fā)明的實施例，至少具有如下技術(shù)效果：