[發(fā)明專利]數(shù)據(jù)清洗方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811375671.0
• 申請(qǐng)日: 2018-11-19
• 公開（公告）號(hào): CN109542885A
• 公開（公告）日: 2019-03-29
• 發(fā)明（設(shè)計(jì)）人: 火一莽;萬(wàn)月亮;李海衛(wèi);李瀟寧
• 申請(qǐng)（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數(shù)據(jù)清洗方法，其特征在于，包括：

獲取待清洗數(shù)據(jù)，根據(jù)設(shè)定格式標(biāo)準(zhǔn)對(duì)所述待清洗數(shù)據(jù)進(jìn)行預(yù)清洗；

獲取預(yù)清洗后的數(shù)據(jù)所屬的類別；

根據(jù)所述類別對(duì)應(yīng)的清洗標(biāo)準(zhǔn)對(duì)所述數(shù)據(jù)進(jìn)行清洗，獲得目標(biāo)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)設(shè)定格式標(biāo)準(zhǔn)對(duì)所述待清洗數(shù)據(jù)進(jìn)行預(yù)清洗，包括：

獲取所述待清洗數(shù)據(jù)的索引文件和內(nèi)容文件；

將所述待清洗數(shù)據(jù)中索引文件和內(nèi)容文件不一致的數(shù)據(jù)清洗掉。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述類別對(duì)應(yīng)的清洗標(biāo)準(zhǔn)對(duì)所述數(shù)據(jù)進(jìn)行清洗，包括：

對(duì)所述數(shù)據(jù)進(jìn)行如下至少一項(xiàng)操作：數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)類型轉(zhuǎn)換、經(jīng)緯度糾正和亂碼清除。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在根據(jù)所述類別對(duì)應(yīng)的清洗標(biāo)準(zhǔn)對(duì)所述數(shù)據(jù)進(jìn)一步的清洗，獲得目標(biāo)數(shù)據(jù)之后，還包括：

按照設(shè)定數(shù)據(jù)規(guī)則配置所述目標(biāo)數(shù)據(jù)，將配置后的數(shù)據(jù)上報(bào)至目標(biāo)業(yè)務(wù)方。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在根據(jù)所述類別對(duì)應(yīng)的清洗標(biāo)準(zhǔn)對(duì)所述數(shù)據(jù)進(jìn)一步的清洗，獲得目標(biāo)數(shù)據(jù)之后，還包括：

統(tǒng)計(jì)所述待清洗數(shù)據(jù)的大小、所述目標(biāo)數(shù)據(jù)的大小。

6.一種數(shù)據(jù)清洗裝置，其特征在于，包括：

待清洗數(shù)據(jù)獲取模塊，用于獲取待清洗數(shù)據(jù)，根據(jù)設(shè)定格式標(biāo)準(zhǔn)對(duì)所述待清洗數(shù)據(jù)進(jìn)行預(yù)清洗；

類別獲取模塊，用于獲取預(yù)清洗后的數(shù)據(jù)所屬的類別；

目標(biāo)數(shù)據(jù)獲取模塊，用于根據(jù)所述類別對(duì)應(yīng)的清洗標(biāo)準(zhǔn)對(duì)所述數(shù)據(jù)進(jìn)行清洗，獲得目標(biāo)數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，待清洗數(shù)據(jù)獲取模塊，還用于：

獲取所述待清洗數(shù)據(jù)的索引文件和內(nèi)容文件；

將所述待清洗數(shù)據(jù)中索引文件和內(nèi)容文件不一致的數(shù)據(jù)清洗掉。

8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，目標(biāo)數(shù)據(jù)獲取模塊，還用于：

對(duì)所述數(shù)據(jù)進(jìn)行如下至少一項(xiàng)操作：數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)類型轉(zhuǎn)換、經(jīng)緯度糾正和亂碼清除。

9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-5中任一所述的方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-5中任一所述的方法。