[發(fā)明專利]一種云原生可觀測性下的IT實(shí)體群組異常檢測方法

有效

• 申請?zhí)枺?/td>: 202110478056.8
• 申請日: 2021-04-30
• 公開（公告）號: CN113190406B
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 宋祥雨
• 申請（專利權(quán)）人: 上海愛數(shù)信息技術(shù)股份有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

1.一種云原生可觀測性下的IT實(shí)體群組異常檢測方法，其特征在于，所述IT實(shí)體群組包括配置或?qū)傩韵嗤亩鄠€(gè)IT實(shí)體，所述IT實(shí)體包括集群中的節(jié)點(diǎn)、應(yīng)用或服務(wù)，所述方法包括：

1)獲取IT實(shí)體群組在相同指標(biāo)和時(shí)間段內(nèi)的歷史時(shí)間序列數(shù)據(jù)；

2)根據(jù)歷史時(shí)間序列數(shù)據(jù)判斷IT實(shí)體群組是否適用于群組異常檢測，若是則執(zhí)行步驟3)，否則結(jié)束；

3)對歷史時(shí)間序列數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮，并進(jìn)行后向差分計(jì)算，獲得后向差分矩陣；

4)根據(jù)后向差分矩陣，計(jì)算IT實(shí)體群組中每個(gè)IT實(shí)體與其它IT實(shí)體的距離；

5)根據(jù)步驟4)計(jì)算獲得的距離，通過LOF步驟識別出異常IT實(shí)體；

6)以正常IT實(shí)體為基準(zhǔn)，計(jì)算各個(gè)IT實(shí)體產(chǎn)生的異常點(diǎn)及其嚴(yán)重性；

步驟2)包括：

判斷是否同時(shí)滿足以下條件：

各個(gè)IT實(shí)體的指標(biāo)數(shù)據(jù)的樣本量不小于設(shè)定樣本量；

所述的IT實(shí)體群組的IT實(shí)體數(shù)量不小于預(yù)設(shè)值；

若是則判定該IT實(shí)體群組適用于群組異常檢測，否則不適用；

步驟5)包括：

計(jì)算IT實(shí)體的局部離群因子LOF，判斷LOF是否大于局部離群因子設(shè)定閾值，若是則判定該IT實(shí)體為異常IT實(shí)體，否則判定該IT實(shí)體為正常IT實(shí)體；

步驟6)包括：

61)根據(jù)后向差分矩陣，以正常IT實(shí)體作為基準(zhǔn)實(shí)體，識別每個(gè)時(shí)間點(diǎn)上IT實(shí)體的指標(biāo)數(shù)據(jù)樣本點(diǎn)與基準(zhǔn)實(shí)體之間相差的標(biāo)準(zhǔn)差數(shù)量bias；

62)根據(jù)bias，通過預(yù)設(shè)嚴(yán)重性規(guī)則判定該指標(biāo)數(shù)據(jù)樣本點(diǎn)的嚴(yán)重性；

所述的嚴(yán)重性分為未知、正常和異常，所述的嚴(yán)重性規(guī)則包括：

621)判斷IT實(shí)體的指標(biāo)數(shù)據(jù)樣本點(diǎn)原始值是否為-1或空值，若是則標(biāo)記該指標(biāo)數(shù)據(jù)樣本點(diǎn)為未知樣本點(diǎn)，否則執(zhí)行步驟622)；

622)判斷bias是否不大于設(shè)定數(shù)量，若是則標(biāo)記該指標(biāo)數(shù)據(jù)樣本點(diǎn)為正常樣本點(diǎn)，否則標(biāo)記該指標(biāo)數(shù)據(jù)樣本點(diǎn)為異常樣本點(diǎn)。

2.根據(jù)權(quán)利要求1所述的一種云原生可觀測性下的IT實(shí)體群組異常檢測方法，其特征在于，通過PAA步驟對歷史時(shí)間序列數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮，所述的PAA步驟包括：

根據(jù)歷史時(shí)間序列數(shù)據(jù)中各指標(biāo)數(shù)據(jù)的索引值進(jìn)行平均劃分，將指標(biāo)數(shù)據(jù)分成n段，并取其中每段的非空值的平均值作為新數(shù)據(jù)，將每段索引值的開始值作為新數(shù)據(jù)的索引值，使得指標(biāo)數(shù)據(jù)的長度壓縮至n。

3.根據(jù)權(quán)利要求1所述的一種云原生可觀測性下的IT實(shí)體群組異常檢測方法，其特征在于，通過FastDTW步驟計(jì)算每個(gè)IT實(shí)體與其它IT實(shí)體的距離。

4.根據(jù)權(quán)利要求1所述的一種云原生可觀測性下的IT實(shí)體群組異常檢測方法，其特征在于，將IT實(shí)體視為樣本點(diǎn)，所述的局部離群因子LOF的計(jì)算公式為：

其中，ρ_k(O)為點(diǎn)O的局部可達(dá)密度，ρ_k(P′)為N_k(O)內(nèi)其他點(diǎn)的局部可達(dá)密度，N_k(O)為點(diǎn)O的第k距離鄰域。

5.根據(jù)權(quán)利要求4所述的一種云原生可觀測性下的IT實(shí)體群組異常檢測方法，其特征在于，N_k(O)滿足：

N_k(O)＝{P′∈D\{O}|d(O,P′)≤d_k(O)}

其中，d_k(O)為點(diǎn)O的第k距離，d_k(O)＝d(O,P)，P為距離點(diǎn)O最近的第k個(gè)點(diǎn)，滿足如下條件：

在集合中至少存在k個(gè)點(diǎn)P′∈D\{O}，使得d(O,P′)≤d(O,P)；

在集合中至多存在k-1個(gè)點(diǎn)P′∈D\{O}，使得d(O,P′)＜d(O,P)；

ρ_k(O)的計(jì)算公式為：

其中，d_k(O,P′)為點(diǎn)P′到點(diǎn)O的第k可達(dá)距離，計(jì)算公式為：

d_k(O,P′)＝max{d_k(O),d(O,P′)}。

6.根據(jù)權(quán)利要求1所述的一種云原生可觀測性下的IT實(shí)體群組異常檢測方法，其特征在于，所述的標(biāo)準(zhǔn)差數(shù)量bias的計(jì)算公式具體為：

標(biāo)準(zhǔn)差不為空，且不為0時(shí)，

標(biāo)準(zhǔn)差不為空，為0，均值不為0時(shí)，

標(biāo)準(zhǔn)差不為空，為0，均值為0時(shí)，

其中，mean為基準(zhǔn)實(shí)體的指標(biāo)數(shù)據(jù)的非空均值，σ為基準(zhǔn)實(shí)體的指標(biāo)數(shù)據(jù)的非空標(biāo)準(zhǔn)差，default_mean為設(shè)定的基準(zhǔn)實(shí)體指標(biāo)數(shù)據(jù)的默認(rèn)均值。