[發明專利]異常數據處理方法及裝置

在審

• 申請號: 201811487108.2
• 申請日: 2018-12-06
• 公開（公告）號: CN109726198A
• 公開（公告）日: 2019-05-07
• 發明（設計）人: 鐘秋發;高慶;吳又奎
• 申請（專利權）人: 中科恒運股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 石家莊國為知識產權事務所 13120
• 代理人: 秦敏華

本發明提供了一種異常數據處理方法及裝置，該方法應用于數據處理技術領域，所述方法包括：獲取待處理數據；根據所述待處理數據的分布狀態確定異常值檢測方法；根據所述異常值檢測方法檢測所述待處理數據中的異常值；根據預設修正方法對所述異常值進行修正。本發明提供的異常數據處理方法及裝置能夠快速檢測并修正異常值。

技術領域

本發明屬于數據處理技術領域，更具體地說，是涉及一種異常數據處理方法及裝置。

背景技術

在現實中,由于人為錯誤或自然錯誤會導致產生數據異常值，在多數據源的環境下，出現數據異常并產生數據沖突的概率大大增加。如何處理這些異常值便是數據清洗所面臨的一個重要課題。

在數據處理中，尤其在作函數擬合時，異常點的出現不僅會很大程度的改變函數擬合的效果，而且有時還會使得函數的梯度出現奇異梯度，很容易導致算法的終止，從而影響研究變量之間的函數關系。為了有效的避免這些異常點造成的損失，我們需要采取一定的方法對其進行處理。但在多數據源、大數據量的情況下，現有技術中缺少一種檢測異常值并對異常值進行快速處理的方法。

發明內容

本發明的目的在于提供一種異常數據處理方法及裝置，以解決現有技術中存在的無法快速進行異常數據處理的技術問題。

本發明實施例的第一方面，提供了一種異常數據處理方法，所述方法包括：

獲取待處理數據；

根據所述待處理數據的分布狀態確定異常值檢測方法；

根據所述異常值檢測方法檢測所述待處理數據中的異常值；

根據預設修正方法對所述異常值進行修正。

本發明實施例的第二方面，提供了一種異常數據處理裝置，所述裝置包括：

數據獲取模塊，用于獲取待處理數據；

判斷模塊，用于根據所述待處理數據的分布狀態確定異常值檢測方法；

檢測模塊，用于根據所述異常值檢測方法檢測所述待處理數據中的異常值；

修正模塊，用于根據預設修正方法對所述異常值進行修正。

本發明實施例的第三方面，提供了一種終端設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述的異常數據處理方法的步驟。

本發明實施例的第四方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現上述的異常數據處理方法的步驟。

本發明提供的異常數據處理方法及裝置的有益效果在于：本發明提供的異常數據處理方法及裝置根據不同的數據分布狀態設置了不同的待處理數據異常值檢測方法和異常值修正方法，實現簡單，數據計算時間成本低，能夠實現異常數據的快速檢測和修正。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明一實施例提供的異常數據處理方法的流程示意圖；

圖2為本發明另一實施例提供的異常數據處理方法的流程示意圖；

圖3為本發明再一實施例提供的異常數據處理方法的流程示意圖；

圖4為本發明又一實施例提供的異常數據處理方法的流程示意圖；

圖5為本發明又一實施例提供的異常數據處理方法的流程示意圖；