[發明專利]數據清洗方法、裝置、設備及存儲介質

在審

• 申請號: 201811375671.0
• 申請日: 2018-11-19
• 公開（公告）號: CN109542885A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 火一莽;萬月亮;李海衛;李瀟寧
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種數據清洗方法、裝置、設備及存儲介質。該方法包括：獲取待清洗數據，根據設定格式標準對所述待清洗數據進行預清洗；獲取預清洗后的數據所屬的類別；根據所述類別對應的清洗標準對所述數據進行清洗，獲得目標數據。本發明實施例提供的數據清洗方法，首先對待清洗數據進行預處理，然后按照數據類別對應的清洗標準對數據進行清洗，可以提高數據清洗的效率及適用性，從而提高數據的安全性。

技術領域

本發明實施例涉及數據處理技術領域，尤其涉及一種數據清洗方法、裝置、設備及存儲介質。

背景技術

隨著信息技術發展和企業信息化建設的進行，企業自身積累了大量的業務數據，這些數據對于企業非常珍貴，是企業了解自身經營狀況及進行正確決策的基礎。由于用戶錄入錯誤、系統集成及企業環境變化等因素，都會影響到數據質量。

在數據庫研究和應用領域，數據清洗是構建數據庫的第一步。在數據挖掘中，海量的原始數據存在著大量不完整、不一致以及有異常的數據，嚴重影響數據挖掘建模的執行效率，甚至可能導致挖掘結果的偏差，所以進行數據清洗就顯得尤為重要。現有技術中，數據清洗的方式有如下幾種：1)人工清洗，效率低下；2)通過專門編寫的應用程序，這種方法能解決某個特定的問題，但是不夠靈活；3)針對特定應用領域數據的清洗，適用性差。

發明內容

本發明實施例提供一種數據清洗方法、裝置、設備及存儲介質，提高數據清洗的效率及適用性。

第一方面，本發明實施例提供了一種數據清洗方法，該方法包括：

獲取待清洗數據，根據設定格式標準對所述待清洗數據進行預清洗；

獲取預清洗后的數據所屬的類別；

根據所述類別對應的清洗標準對所述數據進行清洗，獲得目標數據。

進一步地，根據設定格式標準對所述待清洗數據進行預清洗，包括：

獲取所述待清洗數據的索引文件和內容文件；

將所述待清洗數據中索引文件和內容文件不一致的數據清洗掉。

進一步地，根據所述類別對應的清洗標準對所述數據進行清洗，包括：

對所述數據進行如下至少一項操作：數據格式轉換、數據類型轉換、經緯度糾正和亂碼清除。

進一步地，在根據所述類別對應的清洗標準對所述數據進一步的清洗，獲得目標數據之后，還包括：

按照設定數據規則配置所述目標數據，將配置后的數據上報至目標業務方。

進一步地，在根據所述類別對應的清洗標準對所述數據進一步的清洗，獲得目標數據之后，還包括：

統計所述待清洗數據的大小、所述目標數據的大小。

第二方面，本發明實施例還提供了一種數據清洗裝置，該裝置包括：

待清洗數據獲取模塊，用于獲取待清洗數據，根據設定格式標準對所述待清洗數據進行預清洗；

類別獲取模塊，用于獲取預清洗后的數據所屬的類別；

目標數據獲取模塊，用于根據所述類別對應的清洗標準對所述數據進行清洗，獲得目標數據。

進一步地，待清洗數據獲取模塊，還用于：

獲取所述待清洗數據的索引文件和內容文件；

將所述待清洗數據中索引文件和內容文件不一致的數據清洗掉。

進一步地，目標數據獲取模塊，還用于：

對所述數據進行如下至少一項操作：數據格式轉換、數據類型轉換、經緯度糾正和亂碼清除。