[發明專利]異常數據處理方法及裝置

在審

• 申請號: 201811488043.3
• 申請日: 2018-12-06
• 公開（公告）號: CN109597745A
• 公開（公告）日: 2019-04-09
• 發明（設計）人: 王毅剛;吳又奎;鐘秋發
• 申請（專利權）人: 中科恒運股份有限公司
• 主分類號: G06F11/34
• 分類號: G06F11/34
• 代理公司: 石家莊國為知識產權事務所 13120
• 代理人: 秦敏華

1.一種異常數據處理方法，其特征在于，包括：

獲取待處理數據；

根據預設排序方法對所述待處理數據中的數據點進行排序；

若所述數據點的排序序號小于預設閾值，則確定所述數據點為異常數據；

根據預設修正方法對所述異常數據進行修正。

2.如權利要求1所述的異常數據處理方法，其特征在于，所述根據預設排序方法對所述待處理數據中的數據點進行排序，包括：

確定所述待處理數據中每個數據點預設值的近鄰距離均值；

根據所述近鄰距離均值對所述待處理數據中的數據點進行降序排序。

3.如權利要求2所述的異常數據處理方法，其特征在于，所述預設值的確定方法包括：

獲取訓練樣本數據，所述訓練樣本數據包括正常數據點和異常數據點；

設定初始預設值；

根據所述訓練樣本數據更新所述初始預設值得到預設值。

4.如權利要求3所述的異常數據處理方法，其特征在于，所述根據所述訓練樣本數據更新所述初始預設值得到預設值，包括：

根據所述正常數據點確定所有正常數據點的第一近鄰距離均值；

確定所述樣本數據中所有數據點初始預設值的第二近鄰距離均值；

若所述第一近鄰距離均值與所述第二近鄰距離均值的差值滿足預設誤差范圍，則將所述初始預設值確定為預設值。

5.如權利要求4所述的異常數據處理方法，其特征在于，所述根據所述訓練樣本數據更新所述初始預設值得到預設值，還包括：

若所述第一近鄰距離均值與所述第二近鄰距離均值的差值不滿足預設誤差范圍，則減小初始預設值，并返回執行確定所述樣本數據中所有數據點初始預設值的第二近鄰距離均值的步驟。

6.如權利要求1至5任一項所述的異常數據處理方法，其特征在于，所述根據預設修正方法對所述異常數據進行修正，包括：

若所述異常數據為數值型數據，則根據異常數據所對應的相同屬性數據的平均值對所述異常數據進行修正；

若所述異常數據為非數值型數據，則根據異常數據所對應的相同屬性數據中出現頻率最高的屬性值對所述異常數據進行修正。

7.一種異常數據處理裝置，其特征在于，包括：

數據獲取模塊，用于獲取待處理數據；

排序模塊，用于根據預設排序方法對所述待處理數據中的數據點進行排序；

檢測模塊，用于若所述數據點的排序序號小于預設閾值，則確定所述數據點為異常數據；

修正模塊，用于根據預設修正方法對所述異常數據進行修正。

8.如權利要求7所述的異常數據處理裝置，其特征在于，所述排序模塊包括：

均值確定單元，用于確定所述待處理數據中每個數據點預設值的近鄰距離均值；

排序單元，用于根據所述近鄰距離均值對所述待處理數據中的數據點降序排序。

9.一種終端設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至6任一項所述方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述方法的步驟。