[發(fā)明專利]數(shù)據(jù)異常檢測方法、裝置、服務器和計算機可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201811467527.X
• 申請日: 2018-12-03
• 公開（公告）號: CN111258863B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設計）人: 朱寶;陳姝君
• 申請（專利權）人: 北京嘀嘀無限科技發(fā)展有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 北京同立鈞成知識產(chǎn)權代理有限公司 11205
• 代理人: 楊澤;劉芳

本發(fā)明提供了一種數(shù)據(jù)異常檢測方法、裝置、服務器和計算機可讀存儲介質(zhì)，其中，數(shù)據(jù)異常檢測方法包括：響應于采集的多種實時指標數(shù)據(jù)，檢測任一種實時指標數(shù)據(jù)的異常信息的步驟包括：確定任一種實時指標數(shù)據(jù)與預測指標數(shù)據(jù)之間的殘差樣本集合和窗寬；確定殘差樣本集合中第n個殘差樣本的一行特征值由第n個殘差樣本和前m個殘差樣本構(gòu)成，并建立第n個殘差樣本的高維殘差樣本，m小于n；根據(jù)窗寬確定全部高維殘差樣本對應的高維殘差概率密度模型，并計算第n個殘差樣本的異常概率。通過本發(fā)明的技術方案，能夠?qū)Χ喾N指標數(shù)據(jù)進行統(tǒng)一異常檢測，進一步地基于對高維殘差樣本的分析和建模，提高了數(shù)據(jù)異常檢測的連續(xù)性、抗干擾性和置信度。

技術領域

本發(fā)明涉及數(shù)據(jù)異常檢測技術領域，具體而言，涉及一種數(shù)據(jù)異常檢測方法、一種數(shù)據(jù)異常檢測裝置、一種服務器和一種計算機可讀存儲介質(zhì)。

背景技術

服務器在運營過程中會產(chǎn)生海量的實時指標數(shù)據(jù)，通過檢測實時指標數(shù)據(jù)的波動，以監(jiān)控運營平臺的運營穩(wěn)定情況。

但是，絕大多數(shù)的異常檢測算法是針對統(tǒng)一種指標數(shù)據(jù)進行檢測，無法對多類型、多量綱、多場景下的實時指標數(shù)據(jù)進行統(tǒng)一化的檢測和預警。

相關技術中，大數(shù)據(jù)領域提出了VAE(Variational?Auto-Encoder，變分自編碼器)算法來進行多種實時指標數(shù)據(jù)的統(tǒng)一異常檢測，由于VAE算法基于數(shù)據(jù)窗口提取歷史數(shù)據(jù)，可能會造成頻域異常的漏檢，無法保證數(shù)據(jù)異常檢測的置信度。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術或相關技術中存在的技術問題之一。

為此，本發(fā)明的一個目的在于提供一種數(shù)據(jù)異常檢測方法。

本發(fā)明的另一個目的在于提供一種數(shù)據(jù)異常檢測裝置。

本發(fā)明的另一個目的在于提供一種服務器。

本發(fā)明的另一個目的在于提供一種計算機可讀存儲介質(zhì)。

為了實現(xiàn)上述目的，根據(jù)本發(fā)明的第一方面的實施例，提供了一種數(shù)據(jù)異常檢測方法，包括：響應于采集的多種實時指標數(shù)據(jù)，檢測任一種實時指標數(shù)據(jù)的異常信息的步驟包括：確定任一種實時指標數(shù)據(jù)與預測指標數(shù)據(jù)之間的殘差樣本集合和窗寬；確定殘差樣本集合中第n個殘差樣本的一行特征值由第n個殘差樣本和前m個殘差樣本構(gòu)成，并建立第n個殘差樣本的高維殘差樣本，m小于n；根據(jù)窗寬確定全部高維殘差樣本對應的高維殘差概率密度模型，并計算第n個殘差樣本的異常概率。

在該技術方案中，通過確定任一種實時指標數(shù)據(jù)與預測指標數(shù)據(jù)之間的殘差樣本集合，將指標數(shù)據(jù)與指標類型剝離，得到實時指標數(shù)據(jù)中的異常數(shù)據(jù)信息，將異常數(shù)據(jù)信息作為殘差樣本(通常包括異常信息、正常波動信息和噪聲信息)，進而能夠?qū)Χ喾N實時指標數(shù)據(jù)進行統(tǒng)一的異常檢測，降低了維護成本和排異成本。

另外，窗寬是影響密度估計準確性的主要因素之一，概率密度函數(shù)的熵反應密度函數(shù)包含的信息量，熵越大表明密度函數(shù)反應的原數(shù)據(jù)信息越多。通過計算不同窗寬h所對應的熵值，得到熵值最大值所對應的h即為最優(yōu)窗寬。經(jīng)驗最優(yōu)窗寬出現(xiàn)在標準差附近，密度函數(shù)的熵值具有單調(diào)性，因此，以標準差為中心，選取適當步長與學習率，通過梯度下降方法學習得到最優(yōu)窗寬h值。

其中，密度估計的均方誤差反映的是f_n(x)和f(x)之間的平均偏差程度，f_n(x)表征n個離散樣本，f(x)表征預估函數(shù)，則密度估計的表達式為：

MSE(f(x))＝E[f_n(x)-f(x)]²，

例如，可以通過極小化MSE(f(x))并帶入概率密度函數(shù)K(u)，得到窗寬表達式為：

均勻核函數(shù)為正態(tài)核函數(shù)為