[發(fā)明專(zhuān)利]數(shù)據(jù)異常檢測(cè)方法、裝置、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910506329.8
• 申請(qǐng)日: 2019-06-12
• 公開(kāi)（公告）號(hào): CN110245132A
• 公開(kāi)（公告）日: 2019-09-17
• 發(fā)明（設(shè)計(jì)）人: 程雅慧
• 申請(qǐng)（專(zhuān)利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F16/215
• 分類(lèi)號(hào): G06F16/215;G06F16/2458;G06K9/62
• 代理公司: 廣州華進(jìn)聯(lián)合專(zhuān)利商標(biāo)代理有限公司 44224
• 代理人: 陳小娜

1.一種數(shù)據(jù)異常檢測(cè)方法，包括：

獲取待檢測(cè)數(shù)據(jù)，所述待檢測(cè)數(shù)據(jù)中包括至少兩個(gè)數(shù)據(jù)簇，所述每個(gè)數(shù)據(jù)簇中包括多個(gè)數(shù)據(jù)樣本；

計(jì)算數(shù)據(jù)簇內(nèi)各個(gè)數(shù)據(jù)樣本之間的相似度，根據(jù)所述各個(gè)數(shù)據(jù)樣本之間的相似度確定各個(gè)數(shù)據(jù)簇對(duì)應(yīng)的非相似數(shù)據(jù)樣本對(duì)；

獲取各個(gè)數(shù)據(jù)簇對(duì)應(yīng)的非相似閾值，根據(jù)所述非相似閾值和所述非相似數(shù)據(jù)樣本對(duì)確定各個(gè)數(shù)據(jù)簇的狀態(tài)；所述非相似閾值是根據(jù)數(shù)據(jù)簇內(nèi)的數(shù)據(jù)樣本數(shù)量確定的；

將異常狀態(tài)的數(shù)據(jù)簇對(duì)應(yīng)的數(shù)據(jù)作為所述待檢測(cè)數(shù)據(jù)中的異常數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)各個(gè)數(shù)據(jù)簇中的數(shù)據(jù)樣本計(jì)算各個(gè)數(shù)據(jù)簇之間的相似度，得到各個(gè)數(shù)據(jù)簇對(duì)相似度；

根據(jù)所述各個(gè)數(shù)據(jù)簇對(duì)相似度和預(yù)設(shè)相似閾值，確定各個(gè)數(shù)據(jù)簇對(duì)的狀態(tài)；

將異常狀態(tài)的數(shù)據(jù)簇對(duì)對(duì)應(yīng)的數(shù)據(jù)作為所述待檢測(cè)數(shù)據(jù)中的異常數(shù)據(jù)，所述異常狀態(tài)的數(shù)據(jù)簇對(duì)是指數(shù)據(jù)簇對(duì)對(duì)應(yīng)的數(shù)據(jù)簇對(duì)相似度超過(guò)預(yù)設(shè)相似度閾值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)每個(gè)數(shù)據(jù)簇中的數(shù)據(jù)樣本計(jì)算數(shù)據(jù)簇之間的相似度，得到數(shù)據(jù)簇對(duì)相似度，包括：

獲取每個(gè)數(shù)據(jù)簇中每個(gè)數(shù)據(jù)樣本的質(zhì)量評(píng)價(jià)信息；

根據(jù)所述質(zhì)量評(píng)價(jià)信息分別從每個(gè)數(shù)據(jù)簇中選取預(yù)設(shè)數(shù)量的數(shù)據(jù)樣本，得到每個(gè)數(shù)據(jù)簇對(duì)應(yīng)的目標(biāo)數(shù)據(jù)樣本；

計(jì)算每個(gè)數(shù)據(jù)簇對(duì)應(yīng)的目標(biāo)數(shù)據(jù)樣本之間的相似度，根據(jù)所述每個(gè)數(shù)據(jù)簇對(duì)應(yīng)的目標(biāo)數(shù)據(jù)樣本之間的相似度確定數(shù)據(jù)簇對(duì)相似度。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述計(jì)算每個(gè)數(shù)據(jù)簇對(duì)應(yīng)的目標(biāo)數(shù)據(jù)樣本之間的相似度，根據(jù)所述每個(gè)數(shù)據(jù)簇對(duì)應(yīng)的目標(biāo)數(shù)據(jù)樣本之間的相似度確定數(shù)據(jù)簇對(duì)相似度，包括：

獲取第一數(shù)據(jù)簇對(duì)應(yīng)的第一目標(biāo)數(shù)據(jù)樣本和第二數(shù)據(jù)簇對(duì)應(yīng)的第二目標(biāo)數(shù)據(jù)樣本；

計(jì)算所述第一目標(biāo)數(shù)據(jù)樣本中每個(gè)數(shù)據(jù)樣本與第二目標(biāo)數(shù)據(jù)樣本中每個(gè)數(shù)據(jù)樣本的各個(gè)目標(biāo)相似度；

統(tǒng)計(jì)所述目標(biāo)相似度總數(shù)和所述目標(biāo)相似度超過(guò)預(yù)設(shè)目標(biāo)閾值的目標(biāo)相似度數(shù)；

根據(jù)所述目標(biāo)相似度總數(shù)和目標(biāo)相似度數(shù)計(jì)算得到所述第一數(shù)據(jù)簇和所述第二數(shù)據(jù)簇對(duì)應(yīng)的數(shù)據(jù)簇對(duì)相似度。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，獲取各個(gè)數(shù)據(jù)簇中數(shù)據(jù)樣本的質(zhì)量評(píng)價(jià)信息，包括：

獲取所述各個(gè)數(shù)據(jù)簇中的數(shù)據(jù)樣本，將所述數(shù)據(jù)樣本輸入到已訓(xùn)練的質(zhì)量評(píng)價(jià)模型中進(jìn)行識(shí)別，得到輸出結(jié)果；

根據(jù)輸出結(jié)果得到所述各個(gè)數(shù)據(jù)簇中數(shù)據(jù)樣本的質(zhì)量評(píng)價(jià)信息。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待檢測(cè)數(shù)據(jù)，所述待檢測(cè)數(shù)據(jù)中包括至少兩個(gè)數(shù)據(jù)簇，所述每個(gè)數(shù)據(jù)簇中包括多個(gè)數(shù)據(jù)樣本，包括：

獲取原始數(shù)據(jù)，將所述原始數(shù)據(jù)進(jìn)行劃分，得到各個(gè)目標(biāo)原始數(shù)據(jù)；

使用聚類(lèi)算法對(duì)各個(gè)目標(biāo)原始數(shù)據(jù)分別進(jìn)行聚類(lèi)，得到各個(gè)目標(biāo)原始數(shù)據(jù)對(duì)應(yīng)的多個(gè)原始數(shù)據(jù)簇；

計(jì)算所述多個(gè)原始數(shù)據(jù)簇之間的相似度，根據(jù)所述多個(gè)原始數(shù)據(jù)簇之間的相似度將所述多個(gè)原始數(shù)據(jù)簇進(jìn)行合并，得到所述至少兩個(gè)數(shù)據(jù)簇。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算數(shù)據(jù)簇內(nèi)各個(gè)數(shù)據(jù)樣本之間的相似度，根據(jù)所述各個(gè)數(shù)據(jù)樣本之間的相似度確定各個(gè)數(shù)據(jù)簇對(duì)應(yīng)的非相似數(shù)據(jù)樣本對(duì)，包括：

提取所述數(shù)據(jù)簇內(nèi)各個(gè)數(shù)據(jù)樣本的特征；

根據(jù)所述數(shù)據(jù)樣本的特征使用相似度算法計(jì)算所述數(shù)據(jù)簇內(nèi)各個(gè)數(shù)據(jù)樣本之間的相似度；

將所述數(shù)據(jù)簇內(nèi)各個(gè)數(shù)據(jù)樣本之間的相似度未超過(guò)預(yù)設(shè)相似度閾值的數(shù)據(jù)樣本對(duì)作為非相似數(shù)據(jù)樣本對(duì)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，提取所述各個(gè)數(shù)據(jù)樣本對(duì)中數(shù)據(jù)樣本的特征，包括：

獲取已訓(xùn)練的數(shù)據(jù)識(shí)別模型，將所述各個(gè)數(shù)據(jù)樣本對(duì)中數(shù)據(jù)樣本輸入到所述已訓(xùn)練的數(shù)據(jù)識(shí)別模型中，得到特征提取層的輸出結(jié)果；

根據(jù)所述特征提取層的輸出結(jié)果得到所述各個(gè)數(shù)據(jù)樣本對(duì)中數(shù)據(jù)樣本的特征。