[發(fā)明專利]檢測數(shù)據(jù)集中異常的裝置和方法以及它們相應(yīng)的計算機程序產(chǎn)品

有效

• 申請?zhí)枺?/td>: 201880095812.5
• 申請日: 2018-07-20
• 公開（公告）號: CN112470131B
• 公開（公告）日: 2023-02-07
• 發(fā)明（設(shè)計）人: 瓦列里·尼古拉耶維奇·格盧霍夫;張亮;潘繼雨
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 暫無信息
• 代理人: 暫無信息

1. 一種檢測數(shù)據(jù)集中異常的裝置，其特征在于，所述裝置包括：

至少一個處理器；以及

耦合到所述至少一個處理器并存儲可執(zhí)行指令的存儲器，當(dāng)由所述至少一個處理器執(zhí)行時，所述指令使得所述至少一個處理器：

接收包括多個數(shù)據(jù)項的數(shù)據(jù)集，其中至少一個數(shù)據(jù)項異常，

選擇至少兩種異常檢測算法；

通過使用所述至少兩種異常檢測算法中的每一種：

為所述數(shù)據(jù)項中的每一項計算異常分?jǐn)?shù)；

基于所述異常分?jǐn)?shù)，獲得所述數(shù)據(jù)項的部分排序，所述部分排序使得所述數(shù)據(jù)項被劃分為多個子集，每個子集對應(yīng)于不同的中間等級區(qū)間；

基于所述部分排序選擇描述每個子集中各數(shù)據(jù)項的中間等級的概率模型；以及

基于所述概率模型為每個子集中的所述數(shù)據(jù)項的所述中間等級分配信度；

按照預(yù)定義的組合規(guī)則同時使用所述至少兩種異常檢測算法，通過組合所獲得的所述數(shù)據(jù)項中每一項的中間等級的信度來獲得所述中間等級的總信度；

將所述數(shù)據(jù)項的所述中間等級的所述總信度轉(zhuǎn)換為描述所述數(shù)據(jù)項的預(yù)期等級的概率分布函數(shù)；

根據(jù)所述數(shù)據(jù)項的所述預(yù)期等級將所述數(shù)據(jù)項進行排序；以及

在排序后的所述數(shù)據(jù)項中找出所述至少一個異常數(shù)據(jù)項。

2.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述至少一個處理器還用于基于所述數(shù)據(jù)項所屬的使用領(lǐng)域來選擇所述至少兩種異常檢測算法。

3.根據(jù)權(quán)利要求1所述的裝置，其特征在于，所述至少兩種異常檢測算法中的每一種配置有不同的權(quán)重系數(shù)，并且所述至少一個處理器還用于與所述異常檢測算法的所述權(quán)重系數(shù)配合基于所述概率模型分配所述信度。

4.根據(jù)權(quán)利要求3所述的裝置，其特征在于，所述至少兩種異常檢測算法是基于無監(jiān)督學(xué)習(xí)的異常檢測算法，并且所述至少兩種異常檢測算法的所述不同權(quán)重系數(shù)是基于用戶偏好指定的，使得所述權(quán)重系數(shù)的和等于1。

5.根據(jù)權(quán)利要求3所述的裝置，其特征在于，所述至少兩種異常檢測算法是基于監(jiān)督學(xué)習(xí)的異常檢測算法，并且所述至少兩種異常檢測算法的所述權(quán)重系數(shù)使用預(yù)先準(zhǔn)備的訓(xùn)練集來調(diào)整，所述訓(xùn)練集包括不同的前數(shù)據(jù)集以及與所述前數(shù)據(jù)集一一對應(yīng)的目標(biāo)排序。

6. 根據(jù)權(quán)利要求5所述的裝置，其特征在于，基于Kendall tau距離進一步調(diào)整所述至少兩種異常檢測算法的所述權(quán)重系數(shù)，所述Kendall tau距離用于測量通過所述至少兩種異常檢測算法所獲得的組合部分排序與所述訓(xùn)練集中的所述目標(biāo)排序中每一個之間的距離。

7.根據(jù)權(quán)利要求1至6中任一項所述的裝置，其特征在于，基于所述數(shù)據(jù)項的所述部分排序所獲得的所述子集包括至少兩個第一子集，每個第一子集包括具有相同異常分?jǐn)?shù)的數(shù)據(jù)項。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述至少兩個第一子集的所述中間等級區(qū)間是不重疊的。

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，基于所述數(shù)據(jù)項的所述部分排序所獲得的所述子集還包括第二子集，所述第二子集包括不屬于所述至少兩個第一子集的數(shù)據(jù)項，并且所述至少一個處理器還用于基于所述第二子集選擇所述概率模型。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述第二子集的所述數(shù)據(jù)項是錯誤遺漏的數(shù)據(jù)項或者是所具有的所述異常分?jǐn)?shù)與屬于所述至少兩個第一子集的所述數(shù)據(jù)項不同的數(shù)據(jù)項。

11.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述第二子集的所述中間等級區(qū)間包含所述至少兩個第一子集的所述中間等級區(qū)間。

12.根據(jù)權(quán)利要求1至6中任一項所述的裝置，其特征在于，所述預(yù)定義的組合規(guī)則包括Dempster組合規(guī)則。