[發明專利]一種基于概率分布的異常數據處理方法及裝置

在審

• 申請號: 201810974925.4
• 申請日: 2018-08-24
• 公開（公告）號: CN109325061A
• 公開（公告）日: 2019-02-12
• 發明（設計）人: 馬小波;侯桂星
• 申請（專利權）人: 北京天元創新科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F7/58
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;吳歡燕

1.一種基于概率分布的異常數據處理方法，其特征在于，包括：

對目標數據集合中的正常數據進行分組；

根據所述正常數據和分組結果，獲取所述目標數據集合的概率分布；

根據所述概率分布和所述目標數據集合中異常數據的個數，生成隨機數，并使用所述隨機數替換所述異常數據。

2.根據權利要求1所述的方法，其特征在于，對目標數據集合中的正常數據進行分組的步驟具體包括：

基于組距分組方法、分位數分組方法、單變量分組方法或基于信息熵的分組方法，對目標數據集合中的正常數據進行分組。

3.根據權利要求1所述的方法，其特征在于，對目標數據集合中的正常數據進行分組的步驟具體包括：

當所述目標數據集合中的數據為連續型數據時，將所述目標數據集合中的數據劃分為多個區間；

當所述目標數據集合中的數據為離散型數據時，將所述目標數據集合中的數據劃分為多個類別。

4.根據權利要求3所述的方法，其特征在于，根據所述正常數據和分組結果，獲取所述目標數據集合的概率分布的步驟具體包括：

統計所述目標數據集合中各所述區間或各所述類別的正常數據的個數；

使用各所述區間或各所述類別的正常數據的個數除以所述正常數據的總個數，獲取所述目標數據集合中數據屬于各所述區間或各所述類別的概率。

5.根據權利要求4所述的方法，其特征在于，所述隨機數的個數與所述異常數據的個數相同，所述隨機數按照所述概率進行分布。

6.根據權利要求1-5任一所述的方法，其特征在于，在對目標數據集合中的正常數據進行分組之前還包括：

基于異常數據檢測算法對目標數據集合進行檢測，獲取所述目標數據集合中的異常數據，將所述目標數據集合中除所述異常數據以外的數據作為正常數據。

7.一種基于概率分布的異常數據處理裝置，其特征在于，包括：

分組模塊，用于對目標數據集合中的正常數據進行分組；

獲取模塊，用于根據所述正常數據和分組結果，獲取所述目標數據集合的概率分布；

生成模塊，用于根據所述概率分布和所述目標數據集合中異常數據的個數，生成隨機數，并使用所述隨機數替換所述異常數據。

8.根據權利要求7所述的裝置，其特征在于，分組模塊具體用于：

基于組距分組方法、分位數分組方法、單變量分組方法或基于信息熵的分組方法，對目標數據集合中的正常數據進行分組。

9.一種電子設備，其特征在于，包括：

至少一個處理器、至少一個存儲器和總線；其中，

所述處理器和存儲器通過所述總線完成相互間的通信；

所述存儲器存儲有可被所述處理器執行的程序指令，所述處理器調用所述程序指令能夠執行如權利要求1至6任一所述的方法。

10.一種非暫態計算機可讀存儲介質，其特征在于，所述非暫態計算機可讀存儲介質存儲計算機指令，所述計算機指令使所述計算機執行如權利要求1至6任一所述的方法。