[發明專利]具有修正功能的數據清洗方法、設備和存儲介質

在審

• 申請號: 202011441961.8
• 申請日: 2020-12-08
• 公開（公告）號: CN112486971A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 趙勇;王金虎
• 申請（專利權）人: 企查查科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/23;G06F16/27
• 代理公司: 蘇州威世朋知識產權代理事務所(普通合伙) 32235
• 代理人: 董燕

1.一種具有修正功能的數據清洗方法，其特征在于，所述方法包括：

將符合預設清洗規則的數據進行字段清洗后，每條數據清洗為帶有主鍵ID的數據表；

根據預設的更新規則，將每個所述數據表以對應主鍵ID為索引更新至基礎數據庫中；其中，所述預設的更新規則包括：

在根據主鍵ID判定待更新的數據表已存入所述基礎數據庫中，且已存入的數據表中包括有修正字段后，將所述修正字段覆蓋所述待更新的數據表對應的字段后，將所述待更新的數據表以覆蓋已存入數據表的方式存入所述基礎數據庫中。

2.根據權利要求1所述具有修正功能的數據清洗方法，其特征在于，所述預設的更新規則還包括：

在根據主鍵ID判定待更新的數據表已存入所述基礎數據庫中，且已存入的數據表中不包括有修正字段后，將所述待更新的數據表以覆蓋已存入數據表的方式存入所述基礎數據庫中。

3.根據權利要求1所述具有修正功能的數據清洗方法，其特征在于，所述預設的更新規則還包括：

在根據主鍵ID判定待更新的數據表沒有存入所述基礎數據庫中后，以對應主鍵ID為索引將所述待更新的數據表存入所述基礎數據庫中。

4.根據權利要求1所述具有修正功能的數據清洗方法，其特征在于，所述方法還包括：

根據后端反饋的錯誤數據，獲取所述錯誤數據對應的數據表的主鍵ID和所述錯誤數據在所述數據表中的字段號；

根據所述主鍵ID和字段號，從所述基礎數據庫中獲取相應的字段內容進行修正并打上修正標記，得到具有修正標記的修正字段；

根據所述主鍵ID和字段號，從所述基礎數據庫中獲取所述主鍵ID對應的數據表的其它字段內容，并與所述修正字段進行合并，得到合并數據表；

將所述合并數據表以覆蓋原始數據表的方式存入所述基礎數據庫中。

5.根據權利要求1所述具有修正功能的數據清洗方法，其特征在于，所述“字段清洗”包括：

對每條數據中的各個字段進行清洗，使各個字段的展現形式符合頁面展示的標準形式。

6.根據權利要求1所述具有修正功能的數據清洗方法，其特征在于，所述方法還包括：

獲取待清洗數據，判斷所述待清洗數據是否符合預設清洗規則；所述預設清洗規則是指每條數據包括指定的N個字段，所述N為正整數。

7.根據權利要求1所述具有修正功能的數據清洗方法，其特征在于，所述方法還包括：

將所述基礎數據庫中的數據進行業務清洗，并將業務清洗后的數據更新至業務數據庫中；

以日志同步的方式，將所述業務數據庫中的更新數據同步至線上數據庫中。

8.根據權利要求7所述具有修正功能的數據清洗方法，其特征在于，所述“將所述基礎數據庫中的數據進行業務清洗，并將業務清洗后的數據更新至業務數據庫中”包括：

從所述基礎數據庫中獲取與具體業務具有關聯關系的數據表，提取所述數據表中與所述具體業務具有關聯關系的字段，將只包括有關聯關系的字段的數據表存入對應業務的業務數據庫中。

9.一種電子設備，包括存儲器和處理器，所述存儲器存儲有可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1-8任意一項所述具有修正功能的數據清洗方法中的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-8任意一項所述具有修正功能的數據清洗方法中的步驟。