[發(fā)明專利]一種確定異常數(shù)據(jù)的方法及裝置

有效

• 申請?zhí)枺?/td>: 201410108593.3
• 申請日: 2014-03-21
• 公開（公告）號: CN104933080B
• 公開（公告）日: 2018-06-26
• 發(fā)明（設計）人: 顏海濤
• 申請（專利權(quán)）人: 中國移動通信集團湖北有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 張穎玲;王黎延

1.一種確定異常數(shù)據(jù)的方法，其特征在于，所述方法包括：

根據(jù)對多維數(shù)據(jù)集的各個維度進行遍歷后得到的遍歷結(jié)果，將所述多維數(shù)據(jù)集分成N個與所述多維數(shù)據(jù)集維度相同的最小數(shù)據(jù)單元，并計算所有所述最小數(shù)據(jù)單元對應的空間距離值；

根據(jù)所述空間距離值確定疑似異常數(shù)據(jù)集；

在所述疑似異常數(shù)據(jù)集中選取一個疑似異常最小數(shù)據(jù)單元，按照維度組合遞歸的方法，將所述疑似異常最小數(shù)據(jù)單元、與所述疑似異常最小數(shù)據(jù)單元相鄰的最小數(shù)據(jù)單元組合成疑似異常數(shù)據(jù)子集，并計算所述疑似異常數(shù)據(jù)子集中的疑似異常數(shù)據(jù)單元的空間距離差值，比較所述空間距離差值與所述疑似異常最小數(shù)據(jù)單元的空間距離值的大小，確定所述疑似異常數(shù)據(jù)子集中的疑似異常數(shù)據(jù)單元是否為異常數(shù)據(jù)單元；

其中，N為所述多維數(shù)據(jù)集中每個維度的維值個數(shù)的乘積；所述計算所述疑似異常數(shù)據(jù)子集中的疑似異常數(shù)據(jù)單元的空間距離差值，包括：計算所述疑似異常數(shù)據(jù)子集中的疑似異常數(shù)據(jù)單元的外部空間距離值和內(nèi)部空間距離值，根據(jù)所述外部空間距離值和所述內(nèi)部空間距離值計算空間距離差值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)對多維數(shù)據(jù)集的各個維度進行遍歷后得到的遍歷結(jié)果之前，所述方法還包括：

輸入多維數(shù)據(jù)集，并輸入控制所述多維數(shù)據(jù)集的控制規(guī)則，根據(jù)所述控制規(guī)則將所述多維數(shù)據(jù)集轉(zhuǎn)換成待處理的數(shù)據(jù)對象。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述空間距離值確定疑似異常數(shù)據(jù)集，包括：

根據(jù)正態(tài)分布法則將所有所述空間距離值進行擬合，并選取與擬合所述空間距離值得到的正態(tài)分布的標準差距離最遠的X個點對應的數(shù)據(jù)作為疑似異常數(shù)據(jù)，與所述疑似異常數(shù)據(jù)對應的最小數(shù)據(jù)單元組成的集合為疑似異常數(shù)據(jù)集。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述比較所述空間距離差值與所述疑似異常最小數(shù)據(jù)單元的空間距離值的大小，確定所述疑似異常數(shù)據(jù)子集中的疑似異常數(shù)據(jù)單元是否為異常數(shù)據(jù)單元，包括：

若所述空間距離差值大于所述疑似異常最小數(shù)據(jù)單元的空間距離值時，所述疑似異常數(shù)據(jù)單元為異常數(shù)據(jù)單元；

若所述空間距離差值不大于所述疑似異常最小數(shù)據(jù)單元的空間距離值時，所述疑似異常數(shù)據(jù)單元為正常數(shù)據(jù)單元。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述疑似異常數(shù)據(jù)子集中的疑似異常數(shù)據(jù)單元是否為異常數(shù)據(jù)單元之后，所述方法還包括：

顯示異常數(shù)據(jù)集，所述異常數(shù)據(jù)集是所述疑似異常數(shù)據(jù)集中的所有疑似異常最小數(shù)據(jù)單元通過維度組合遞歸的方法確定的異常最小數(shù)據(jù)單元組成的集合。

6.一種確定異常數(shù)據(jù)的裝置，其特征在于，所述裝置包括：

計算單元，用于根據(jù)對多維數(shù)據(jù)集的各個維度進行遍歷后得到的遍歷結(jié)果，將所述多維數(shù)據(jù)集分成N個與所述多維數(shù)據(jù)集維度相同的最小數(shù)據(jù)單元，并計算所有所述最小數(shù)據(jù)單元對應的空間距離值；其中，N為所述多維數(shù)據(jù)集中每個維度的維值個數(shù)的乘積；

確定單元，用于根據(jù)所述空間距離值確定疑似異常數(shù)據(jù)集；

遞歸單元，用于在所述疑似異常數(shù)據(jù)集中選取一個疑似異常最小數(shù)據(jù)單元，按照維度組合遞歸的方法，將所述疑似異常最小數(shù)據(jù)單元、與所述疑似異常最小數(shù)據(jù)單元相鄰的最小數(shù)據(jù)單元組合成疑似異常數(shù)據(jù)子集，并計算所述疑似異常數(shù)據(jù)子集中的疑似異常數(shù)據(jù)單元的外部空間距離值和內(nèi)部空間距離值，根據(jù)所述外部空間距離值和內(nèi)部空間距離值計算空間距離差值；

比較單元，用于比較所述空間距離差值與所述疑似異常最小數(shù)據(jù)單元的空間距離值的大小，確定所述疑似異常數(shù)據(jù)子集中的疑似異常數(shù)據(jù)單元是否為異常數(shù)據(jù)單元。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括：

輸入單元，用于輸入多維數(shù)據(jù)集，并輸入控制所述多維數(shù)據(jù)集的控制規(guī)則；

轉(zhuǎn)換單元，用于根據(jù)所述控制規(guī)則將所述多維數(shù)據(jù)集轉(zhuǎn)換成待處理的數(shù)據(jù)對象。