[發明專利]一種云原生可觀測性下的IT實體群組異常檢測方法

有效

• 申請號: 202110478056.8
• 申請日: 2021-04-30
• 公開（公告）號: CN113190406B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 宋祥雨
• 申請（專利權）人: 上海愛數信息技術股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

本發明涉及一種云原生可觀測性下的IT實體群組異常檢測方法，包括：1)獲取IT實體群組在相同指標和時間段內的歷史時間序列數據；2)根據歷史時間序列數據判斷IT實體群組是否適用于群組異常檢測，若是則執行步驟3)，否則結束；3)對歷史時間序列數據進行數據壓縮，并進行后向差分計算，獲得后向差分矩陣；4)根據后向差分矩陣，計算IT實體群組中每個IT實體與其它IT實體的距離；5)根據步驟4)計算獲得的距離，通過LOF步驟識別出異常IT實體；6)以正常IT實體為基準，計算各個IT實體產生的異常點及其嚴重性。與現有技術相比，本發明可以對多個IT實體的指標數據同時進行異常檢測，計算效率高。

技術領域

本發明涉及人工智能技術領域，尤其是涉及一種云原生可觀測性下的IT實體群組異常檢測方法。

背景技術

基于云原生的微服務架構已經是當前的技術趨勢，云原生微服務架構下，大量應用采用分布式集群的方式進行部署，在分布式集群中，集群中的節點、應用或服務等IT實體一般各方面的配置相同，具有同質性。在一個集群中，配置或屬性相同的節點、應用或服務等IT實體構成了一個群組。傳統的異常檢測方法，一般是針對單個IT實體在某個指標下的歷史時間序列數據，采用基于相似度度量模型、基于概率統計模型、回歸模型等方法進行異常檢測，在這些IT實體的指標數據中，有些IT實體在某些指標下具有同質性，即具有相似的行為或者模式、且變化趨勢趨于一致。如果針對某些指標，在多個IT實體具有同質性的前提下，某個時間段內某個IT實體的指標數據的變化趨勢與其他IT實體的指標數據的變化趨勢有較大差異，則該IT實體可能會有異常。若采用傳統的異常檢測方法對多個IT實體進行逐一檢測，計算效率低。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種云原生可觀測性下的IT實體群組異常檢測方法，可以對多個具有同質性的IT實體的指標數據同時進行異常檢測，計算效率高；

本發明的目的可以通過以下技術方案來實現：

一種云原生可觀測性下的IT實體群組異常檢測方法，包括：

1)獲取IT實體群組在相同指標和時間段內的歷史時間序列數據；

2)根據歷史時間序列數據判斷IT實體群組是否適用于群組異常檢測，若是則執行步驟3)，否則結束；

3)對歷史時間序列數據進行數據壓縮，并進行后向差分計算，獲得后向差分矩陣；

4)根據后向差分矩陣，計算IT實體群組中每個IT實體與其它IT實體的距離；

5)根據步驟4)計算獲得的距離，通過LOF步驟識別出異常IT實體；

6)以正常IT實體為基準，計算各個IT實體產生的異常點及其嚴重性。

進一步地，步驟2)包括：

判斷是否同時滿足以下條件：

各個IT實體的指標數據的樣本量不小于設定樣本量；

所述的IT實體群組的IT實體數量不小于預設值，該預設值不小于3；

若是則判定該IT實體群組適用于群組異常檢測，否則不適用。

進一步地，通過PAA步驟對歷史時間序列數據進行數據壓縮，所述的PAA步驟包括：

根據歷史時間序列數據中各指標數據的索引值進行平均劃分，將指標數據分成n段，并取其中每段的非空值的平均值作為新數據，將每段索引值的開始值作為新數據的索引值，使得指標數據的長度壓縮至n；

通過數據壓縮可以解決以下兩個問題：

當各個IT實體的指標樣本數過多時，可通過數據壓縮，在最大程度保留數據的特征的基礎上減少樣本量，以提高算法的效率；