[發(fā)明專利]數(shù)據(jù)異常檢測方法、裝置、計算機可讀存儲介質(zhì)和計算機設(shè)備

在審

• 申請?zhí)枺?/td>: 201910506329.8
• 申請日: 2019-06-12
• 公開（公告）號: CN110245132A
• 公開（公告）日: 2019-09-17
• 發(fā)明（設(shè)計）人: 程雅慧
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/2458;G06K9/62
• 代理公司: 廣州華進聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 陳小娜

本申請涉及一種數(shù)據(jù)異常檢測方法、裝置、計算機可讀存儲介質(zhì)和計算機設(shè)備，所述方法包括：獲取待檢測數(shù)據(jù)，計算待檢測數(shù)據(jù)中數(shù)據(jù)簇內(nèi)各個數(shù)據(jù)樣本之間的相似度，得到數(shù)據(jù)樣本之間的相似度，根據(jù)數(shù)據(jù)樣本之間的相似度確定數(shù)據(jù)簇對應(yīng)的非相似數(shù)據(jù)樣本對。獲取到數(shù)據(jù)簇對應(yīng)的非相似閾值，根據(jù)非相似度閾值和和非相似數(shù)據(jù)樣本對確定數(shù)據(jù)簇的狀態(tài)，將異常狀態(tài)的數(shù)據(jù)簇對應(yīng)的數(shù)據(jù)作為待檢測數(shù)據(jù)中的異常數(shù)據(jù)。將待檢測數(shù)據(jù)中的各個數(shù)據(jù)簇分別進行檢測，能夠提高待檢測數(shù)據(jù)中異常數(shù)據(jù)的檢測效率。并且根據(jù)各個數(shù)據(jù)簇對應(yīng)的非相似度閾值來確定數(shù)據(jù)簇的狀態(tài)，能夠提高確定數(shù)據(jù)簇的狀態(tài)的準(zhǔn)確度，從而提高得到待檢測數(shù)據(jù)中的異常數(shù)據(jù)的準(zhǔn)確度。

技術(shù)領(lǐng)域

本申請涉及計算機技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)異常檢測方法、裝置、計算機可讀存儲介質(zhì)和計算機設(shè)備。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，各種網(wǎng)站或者平臺等會產(chǎn)生越來越多的數(shù)據(jù)，得到大量數(shù)據(jù)。通常，在使用大量數(shù)據(jù)時，需要對大量數(shù)據(jù)進行異常檢測，發(fā)現(xiàn)大量數(shù)據(jù)中存在異常的數(shù)據(jù)并剔除，得到純凈的數(shù)據(jù)。然而，現(xiàn)有技術(shù)中檢測大量數(shù)據(jù)中異常數(shù)據(jù)的準(zhǔn)確度較低。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種能夠提高異常數(shù)據(jù)檢測準(zhǔn)確度的數(shù)據(jù)異常檢測方法、裝置、計算機可讀存儲介質(zhì)和計算機設(shè)備。

一種數(shù)據(jù)異常檢測方法，包括：

獲取待檢測數(shù)據(jù)，待檢測數(shù)據(jù)中包括至少兩個數(shù)據(jù)簇，每個數(shù)據(jù)簇中包括多個數(shù)據(jù)樣本；

計算數(shù)據(jù)簇內(nèi)各個數(shù)據(jù)樣本之間的相似度，根據(jù)各個數(shù)據(jù)樣本之間的相似度確定各個數(shù)據(jù)簇對應(yīng)的非相似數(shù)據(jù)樣本對；

獲取各個數(shù)據(jù)簇對應(yīng)的非相似閾值，根據(jù)非相似閾值和非相似數(shù)據(jù)樣本對確定各個數(shù)據(jù)簇的狀態(tài)；非相似閾值是根據(jù)數(shù)據(jù)簇內(nèi)的數(shù)據(jù)樣本數(shù)量確定的；

將異常狀態(tài)的數(shù)據(jù)簇對應(yīng)的數(shù)據(jù)作為待檢測數(shù)據(jù)中的異常數(shù)據(jù)。

一種數(shù)據(jù)異常檢測裝置，該裝置包括：

數(shù)據(jù)獲取模塊，用于獲取待檢測數(shù)據(jù)，待檢測數(shù)據(jù)中包括至少兩個數(shù)據(jù)簇，每個數(shù)據(jù)簇中包括多個數(shù)據(jù)樣本；

樣本相似度計算模塊，用于計算數(shù)據(jù)簇內(nèi)各個數(shù)據(jù)樣本之間的相似度，根據(jù)各個數(shù)據(jù)樣本之間的相似度確定各個數(shù)據(jù)簇對應(yīng)的非相似數(shù)據(jù)樣本對；

簇狀態(tài)確定模塊，用于獲取各個數(shù)據(jù)簇對應(yīng)的非相似閾值，根據(jù)非相似閾值和非相似數(shù)據(jù)樣本對確定各個數(shù)據(jù)簇的狀態(tài)；非相似閾值是根據(jù)數(shù)據(jù)簇內(nèi)的數(shù)據(jù)樣本數(shù)量確定的；

第一異常數(shù)據(jù)確定模塊，用于將異常狀態(tài)的數(shù)據(jù)簇對應(yīng)的數(shù)據(jù)作為待檢測數(shù)據(jù)中的異常數(shù)據(jù)。

一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，該處理器執(zhí)行程序時實現(xiàn)以下步驟：

獲取待檢測數(shù)據(jù)，待檢測數(shù)據(jù)中包括至少兩個數(shù)據(jù)簇，每個數(shù)據(jù)簇中包括多個數(shù)據(jù)樣本；

計算數(shù)據(jù)簇內(nèi)各個數(shù)據(jù)樣本之間的相似度，根據(jù)各個數(shù)據(jù)樣本之間的相似度確定各個數(shù)據(jù)簇對應(yīng)的非相似數(shù)據(jù)樣本對；

獲取各個數(shù)據(jù)簇對應(yīng)的非相似閾值，根據(jù)非相似閾值和非相似數(shù)據(jù)樣本對確定各個數(shù)據(jù)簇的狀態(tài)；非相似閾值是根據(jù)數(shù)據(jù)簇內(nèi)的數(shù)據(jù)樣本數(shù)量確定的；

將異常狀態(tài)的數(shù)據(jù)簇對應(yīng)的數(shù)據(jù)作為待檢測數(shù)據(jù)中的異常數(shù)據(jù)。

一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，計算機程序被處理器執(zhí)行時，使得處理器執(zhí)行以下步驟：

獲取待檢測數(shù)據(jù)，待檢測數(shù)據(jù)中包括至少兩個數(shù)據(jù)簇，每個數(shù)據(jù)簇中包括多個數(shù)據(jù)樣本；

計算數(shù)據(jù)簇內(nèi)各個數(shù)據(jù)樣本之間的相似度，根據(jù)各個數(shù)據(jù)樣本之間的相似度確定各個數(shù)據(jù)簇對應(yīng)的非相似數(shù)據(jù)樣本對；