[發明專利]具有修正功能的數據清洗方法、設備和存儲介質

在審

• 申請號: 202011441961.8
• 申請日: 2020-12-08
• 公開（公告）號: CN112486971A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 趙勇;王金虎
• 申請（專利權）人: 企查查科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/23;G06F16/27
• 代理公司: 蘇州威世朋知識產權代理事務所(普通合伙) 32235
• 代理人: 董燕

本發明揭示了一種具有修正功能的數據清洗方法、設備和存儲介質，所述方法包括：根據預設的更新規則，將每個所述數據表以對應主鍵ID為索引更新至基礎數據庫中；其中，所述預設的更新規則包括：在根據主鍵ID判定待更新的數據表已存入所述基礎數據庫中，且已存入的數據表中包括有修正字段后，將所述修正字段覆蓋所述待更新的數據表對應的字段后，將所述待更新的數據表以覆蓋已存入數據表的方式存入所述基礎數據庫中。與現有技術相比，本發明的具有修正功能的數據清洗方法，在數據清洗的過程中，通過數據合并的方式，將最新的清洗數據和修正后的數據進行合并，從而即保證了對最新的清洗數據的更新，又能確保更新后的清洗數據的正確性。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種具有修正功能的數據清洗方法、設備和存儲介質。

背景技術

在信息大數據時代，對企業的數據進行收集與處理已成為一件必不可少的事情。目前，我們通過采集系統(例如爬蟲)采集到的原始數據多為不規整數據，這些數據的格式無法滿足我們對數據處理的基本要求，十分不利于后期將數據在頁面上進行展示。

因此，現有技術中，會針對上述情況對原始數據進行預處理，轉化為后面工作所需要的較為規整的數據，所以這里的數據清洗，其實指的就是對原始數據進行基本的預處理，以使原始數據符合頁面展示的標準形式。

但是，當采集系統采集到的原始數據出現錯誤(例如某個法人之前被限制高消費，但是后續被法院取消了限制，裁判文書已經生效，但是網上的公示文書較慢，所以采集系統采集到的數據還是之前的錯誤數據)，如何在清洗過程中對上述這種錯誤數據進行修正，并且修正后的數據不被采集系統新采集到的錯誤數據重新覆蓋，是目前亟待解決的問題。

發明內容

本發明的目的在于提供一種具有修正功能的數據清洗方法、設備和存儲介質。

為實現上述發明目的之一，本發明一實施方式提供一種具有修正功能的數據清洗方法，所述方法包括：

將符合預設清洗規則的數據進行字段清洗后，每條數據清洗為帶有主鍵ID的數據表；

根據預設的更新規則，將每個所述數據表以對應主鍵ID為索引更新至基礎數據庫中；其中，所述預設的更新規則包括：

在根據主鍵ID判定待更新的數據表已存入所述基礎數據庫中，且已存入的數據表中包括有修正字段后，將所述修正字段覆蓋所述待更新的數據表對應的字段后，將所述待更新的數據表以覆蓋已存入數據表的方式存入所述基礎數據庫中。

作為本發明一實施方式的進一步改進，所述預設的更新規則還包括：

在根據主鍵ID判定待更新的數據表已存入所述基礎數據庫中，且已存入的數據表中不包括有修正字段后，將所述待更新的數據表以覆蓋已存入數據表的方式存入所述基礎數據庫中。

作為本發明一實施方式的進一步改進，所述預設的更新規則還包括：

在根據主鍵ID判定待更新的數據表沒有存入所述基礎數據庫中后，以對應主鍵ID為索引將所述待更新的數據表存入所述基礎數據庫中。

作為本發明一實施方式的進一步改進，所述方法還包括：

根據后端反饋的錯誤數據，獲取所述錯誤數據對應的數據表的主鍵ID和所述錯誤數據在所述數據表中的字段號；

根據所述主鍵ID和字段號，從所述基礎數據庫中獲取相應的字段內容進行修正并打上修正標記，得到具有修正標記的修正字段；

根據所述主鍵ID和字段號，從所述基礎數據庫中獲取所述主鍵ID對應的數據表的其它字段內容，并與所述修正字段進行合并，得到合并數據表；

將所述合并數據表以覆蓋原始數據表的方式存入所述基礎數據庫中。

作為本發明一實施方式的進一步改進，所述“字段清洗”包括：