[發(fā)明專利]異常數(shù)據(jù)處理方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201811488043.3
• 申請(qǐng)日: 2018-12-06
• 公開（公告）號(hào): CN109597745A
• 公開（公告）日: 2019-04-09
• 發(fā)明（設(shè)計(jì)）人: 王毅剛;吳又奎;鐘秋發(fā)
• 申請(qǐng)（專利權(quán)）人: 中科恒運(yùn)股份有限公司
• 主分類號(hào): G06F11/34
• 分類號(hào): G06F11/34
• 代理公司: 石家莊國(guó)為知識(shí)產(chǎn)權(quán)事務(wù)所 13120
• 代理人: 秦敏華

本發(fā)明提供了一種異常數(shù)據(jù)處理方法及裝置，該方法應(yīng)用于數(shù)據(jù)處理技術(shù)領(lǐng)域，所述方法包括：獲取待處理數(shù)據(jù)；根據(jù)預(yù)設(shè)排序方法對(duì)所述待處理數(shù)據(jù)中的數(shù)據(jù)點(diǎn)進(jìn)行排序；若所述數(shù)據(jù)點(diǎn)的排序序號(hào)小于預(yù)設(shè)閾值，則確定所述數(shù)據(jù)點(diǎn)為異常數(shù)據(jù)；根據(jù)預(yù)設(shè)修正方法對(duì)所述異常數(shù)據(jù)進(jìn)行修正。本發(fā)明提供的異常數(shù)據(jù)處理方法及裝置能夠準(zhǔn)確地檢測(cè)并修正數(shù)據(jù)集中的異常數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地說，是涉及一種異常數(shù)據(jù)處理方法及裝置。

背景技術(shù)

在現(xiàn)實(shí)中,由于人為錯(cuò)誤或自然錯(cuò)誤會(huì)導(dǎo)致產(chǎn)生數(shù)據(jù)異常值，在多數(shù)據(jù)源的環(huán)境下，出現(xiàn)數(shù)據(jù)異常并產(chǎn)生數(shù)據(jù)沖突的概率大大增加。如何處理這些異常值便是數(shù)據(jù)清洗所面臨的一個(gè)重要課題。

在數(shù)據(jù)處理中，尤其在作函數(shù)擬合時(shí)，異常點(diǎn)的出現(xiàn)不僅會(huì)很大程度的改變函數(shù)擬合的效果，而且有時(shí)還會(huì)使得函數(shù)的梯度出現(xiàn)奇異梯度，很容易導(dǎo)致算法的終止，從而影響研究變量之間的函數(shù)關(guān)系。為了有效的避免這些異常點(diǎn)造成的損失，我們需要采取一定的方法對(duì)其進(jìn)行處理。但在很多情況下，異常數(shù)據(jù)的檢測(cè)過于依賴于數(shù)據(jù)集本身的分布，難以準(zhǔn)確地對(duì)數(shù)據(jù)集中的異常數(shù)據(jù)進(jìn)行檢測(cè)和修正。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種異常數(shù)據(jù)處理方法及裝置，以解決現(xiàn)有技術(shù)中存在的無(wú)法準(zhǔn)確進(jìn)行異常數(shù)據(jù)處理的技術(shù)問題。

本發(fā)明實(shí)施例的第一方面，提供了一種異常數(shù)據(jù)處理方法，所述方法包括：

獲取待處理數(shù)據(jù)；

根據(jù)預(yù)設(shè)排序方法對(duì)所述待處理數(shù)據(jù)中的數(shù)據(jù)點(diǎn)進(jìn)行排序；

若所述數(shù)據(jù)點(diǎn)的排序序號(hào)小于預(yù)設(shè)閾值，則確定所述數(shù)據(jù)點(diǎn)為異常數(shù)據(jù)；

根據(jù)預(yù)設(shè)修正方法對(duì)所述異常數(shù)據(jù)進(jìn)行修正。

本發(fā)明實(shí)施例的第二方面，提供了一種異常數(shù)據(jù)處理裝置，所述裝置包括：

數(shù)據(jù)獲取模塊，用于獲取待處理數(shù)據(jù)；

排序模塊，用于根據(jù)預(yù)設(shè)排序方法對(duì)所述待處理數(shù)據(jù)中的數(shù)據(jù)點(diǎn)進(jìn)行排序；

檢測(cè)模塊，用于若所述數(shù)據(jù)點(diǎn)的排序序號(hào)小于預(yù)設(shè)閾值，則確定所述數(shù)據(jù)點(diǎn)為異常數(shù)據(jù)；

修正模塊，用于根據(jù)預(yù)設(shè)修正方法對(duì)所述異常數(shù)據(jù)進(jìn)行修正。

本發(fā)明實(shí)施例的第三方面，提供了一種終端設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的異常數(shù)據(jù)處理方法的步驟。

本發(fā)明實(shí)施例的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的異常數(shù)據(jù)處理方法的步驟。

本發(fā)明提供的異常數(shù)據(jù)處理方法及裝置的有益效果在于：本發(fā)明提供的異常數(shù)據(jù)處理方法及裝置先通過預(yù)設(shè)排序方法對(duì)待處理數(shù)據(jù)進(jìn)行排序，再根據(jù)異常數(shù)據(jù)檢測(cè)要求確定預(yù)設(shè)閾值，從而根據(jù)預(yù)設(shè)閾值確定待處理數(shù)據(jù)中的異常數(shù)據(jù)并對(duì)該異常數(shù)據(jù)進(jìn)行修正。由于該預(yù)設(shè)排序方法不依賴于待處理數(shù)據(jù)本身的分布，根據(jù)該預(yù)設(shè)排序方法的排序結(jié)果可以實(shí)現(xiàn)對(duì)待處理數(shù)據(jù)中的異常數(shù)據(jù)進(jìn)準(zhǔn)確檢測(cè)，并根據(jù)檢測(cè)結(jié)果進(jìn)行修正。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明一實(shí)施例提供的異常數(shù)據(jù)處理方法的流程示意圖；

圖2為本發(fā)明另一實(shí)施例提供的異常數(shù)據(jù)處理方法的流程示意圖；