[發明專利]一種基于狀態融合的時序異常檢測方法

有效

• 申請號: 202110382900.7
• 申請日: 2021-04-09
• 公開（公告）號: CN113076235B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 梁于寧;吳維剛
• 申請（專利權）人: 中山大學
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F11/34;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

本發明為克服時序的特征會存在時間扭曲導致集群的異常檢測存在誤差的缺陷，提出一種基于狀態融合的時序異常檢測方法，包括以下步驟：收集待檢測時序數據并對其進行預處理，得到時序數據X_T及其對應的標簽Y_T；將經過預處理的時序數據X_T輸入語義分析網絡MarkNet中，生成標記序列S_T；將所述標記序列S_T輸入MeM模塊中進行狀態融合分析，生成標記序列S_U；將所述標記序列S_U輸入異常監測網絡DetectNet中進行異常檢測，得到置信度P(X)，將所述置信度P(X)與預設的對比閾值ε進行比較，當置信度P(X)大于預設的對比閾值ε時，則輸出檢測結果為異常，否則輸出檢測結果為正常。

技術領域

本發明涉及集群資源管理技術領域，更具體地，涉及一種基于狀態融合的時序異常檢測方法。

背景技術

目前對于集群的異常檢測通常從集群單元的資源使用情況進行。集群的資源使用情況以時序的形式記錄下來，輸出到分析模塊用于實時監控，或者存儲于大規模數據庫中作為之后的任務復盤分析。由于時序數據存在時間關聯性，單純地基于概率分布去估計會導致模型無法捕捉時序特征，大大降低檢測精度，所以多數工作都加入了深度學習模型。例如，通過卷積神經網絡對時序進行片段特征提取，通過循環神經網絡對時序的時間特征進行記錄，通過全連接網絡進行深度特征歸納分解，并且應用最大池化、激活函數等技術讓神經網絡具有非線性特征，最終網絡輸出一個綜合判斷分數。然而，當前的時序學習方法普遍都是逐時刻訓練、測試的，即每一個時刻，網絡都輸出一個值，從而進行判斷。但是由于數據中心檢測的時序密集，監測對象由于性能波動、任務切換、數據中心資源波動等情況，時序的特征會存在時間扭曲(temporal distortion)。舉例來說，由于數據中心的資源瓶頸，一個記錄用戶訪問量的時序中存在的峰值特征可能被拉長，而這些特征是逐幀訓練的深度學習模型無法很好掌握的。

針對時序特征的時間扭曲的問題，目前主要采用下述兩種技術：動態時間扭曲(Dynamic Time Warping，DTW)時序相似性衡量技術，利用動態規劃，尋找兩條時序之間的最接近距離，可以在特定情況解決時序變形，從而應對時間扭曲帶來的誤判。但是DTW是利用預先的假設尋求計算兩個時序間的最短距離，沒有針對時序不對齊的現象給出合理解釋。連接主義時間分類技術(Connectionist Temporal Classification，CTC)是一種序列轉化方法，對于神經網絡的預測輸出，把相鄰的輸出值合并為一個，從而得到一個更加簡化的時序表示。通過這種時序表示來判別時序的潛在特征，可以傳到后續的數據流。但是CTC的轉化方法是把一個序列內所有的相同特征態都合并，當存在比較長時間的序列時，可能會導致過于簡化的表示，帶來誤差。

發明內容

本發明為克服上述現有技術所述的時序的特征會存在時間扭曲導致集群的異常檢測存在誤差的缺陷，提供一種基于狀態融合的時序異常檢測方法。

為解決上述技術問題，本發明的技術方案如下：

一種基于狀態融合的時序異常檢測方法，包括以下步驟：

S1：收集待檢測時序數據并對其進行預處理，得到時序數據X_T及其對應的標簽Y_T；

S2：將經過預處理的時序數據X_T輸入語義分析網絡MarkNet中，生成標記序列S_T；

S3：將所述標記序列S_T輸入MeM模塊中進行狀態融合分析，生成標記序列S_U；

S4：將所述標記序列S_U輸入異常監測網絡DetectNet中進行異常檢測，得到置信度P(X)，將所述置信度P(X)與預設的對比閾值ε進行比較，當置信度P(X)大于預設的對比閾值ε時，則輸出檢測結果為異常，否則輸出檢測結果為正常。