[發明專利]一種面向時序KPI數據的異常檢測方法

有效

• 申請號: 202011271468.6
• 申請日: 2020-11-13
• 公開（公告）號: CN112446002B
• 公開（公告）日: 2022-11-15
• 發明（設計）人: 聶力海;趙來平;田朝;李克秋
• 申請（專利權）人: 天津大學
• 主分類號: G06F17/10
• 分類號: G06F17/10;G06K9/62;G06N3/04;G06N3/08;G06N20/20
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李素蘭

本發明公開了一種面向時序KPI數據的異常檢測方法，步驟1、對一個極大極小二元博弈過程模型進行訓練，通過交替訓練使模型收斂；訓練分為兩個階段即KPI識別器訓練和重構器訓練：步驟2、進行在線檢測，用訓練完成的識別器來判定數據正常/異常。本發明具有針對性強，檢測精度高，檢測魯棒性高等優點。

技術領域

本發明屬于數據挖掘技術領域，特別是涉及一種時序KPI數據的異常檢測方法。

背景技術

現代互聯網應用的交互特性要求提供的服務具有低且穩定的延遲。然而，爆發性工作負載和資源競爭等因素往往會導致系統異常的發生，進而影響服務質量。因此，準確地檢測系統異常變得越來越重要。除了現存的解決方案(例如日志診斷、領域知識驅動型檢測)，異常檢測的一個主要方法是通過KPI數據(關鍵性能指標)檢測系統異常，即實時測量一些重要的關鍵性能指標(例如用戶訪問負載、資源利用率和訂單數量)并從中檢測系統相關異常。

KPI數據反映了系統的時序狀態，往往表現出周期性的特征。由于不確定噪聲總是與周期模式相混合，使得KPI異常的檢測是一個挑戰性工作。特別是當KPI數據中的噪聲不服從高斯分布時，異常與正常數據的識別難度增加。為了檢測KPI異常，現有文獻主要采用傳統方法或深度學習方法。傳統方法包括統計學方法和集成學習方法。它們無法處理高維數據，因為過于簡單的模型難以提取到高維復雜的特征。盡管用于特征工程和異常識別的深度監督模型可以處理高維數據，但由于數據集的不平衡性，監督學習方法存在數據標注困難和模型收斂到次優的問題。

而目前還沒有專門對時序數據高魯棒的異常檢測模型。

發明內容

本發明旨在提出一種面向時序KPI數據的異常檢測方法，實現了基于深度學習的時序KPI數據異常檢測。

本發明的一種面向時序KPI數據的異常檢測方法，該方法具體包括以下步驟：

步驟1、對一個極大極小二元博弈過程模型進行訓練，通過交替訓練使模型收斂；訓練分為兩個階段即KPI識別器訓練和重構器訓練：

步驟1-1、識別器訓練過程為：首先從數據集中抽取在正常系統狀態下采集的真實KPI數據和通過重構器重構異常KPI數據；

令正常數據標簽為1、異常數據標簽為0，通過最小化預測標簽和真實標簽的交叉熵來訓練識別器，公式如下：

其中，x_i是一條真實KPI數據，D(x_i)是識別器對其真實性的評價，R(x_i)是重構器對x_i的重構結果，

利用公式(1)使識別器最大化區分正常數據和異常數據；

步驟1-2、重構器訓練過程為最小化識別器的識別損失，公式如下：

其中，D(·)表示識別器對數據異常的判定，1表示數據正常，0表示數據異常；

步驟1-3、交替訓練識別器和重構器，重復執行上述步驟1-1至步驟1-2直至模型收斂；當模型收斂時，通過重構器生成較為真實的數據；通過識別器識別正常數據的模式；

步驟2、進行在線檢測，把待檢測數據x輸入給識別器D，然后D輸出對數據x異常性的判定結果，用訓練完成的識別器來判定數據正常/異常，如下式所示：

進行異常KPI數據識別的過程，具體包括以下步驟：

首先利用一維卷積神經網絡提取時序KPI數據特征，然后利用一維卷積神經網絡提取二次特征，最后把所有提取到的特征利用全連接神經網絡進行分類：分析KPI數據的非高斯噪聲特性，利用非平滑激活函數激活識別器來解決非高斯噪聲問題，以便高效識別混有非高斯噪聲的KPI異常；分析過程如下：