[發明專利]一種數據清洗方法、裝置、計算機設備和可讀存儲介質

在審

• 申請號: 202310365547.0
• 申請日: 2023-04-03
• 公開（公告）號: CN116383187A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 王曉羽
• 申請（專利權）人: 康鍵信息技術（深圳）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/21;G06F16/242;G06F16/2455
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 朱春元

1.一種數據清洗方法，其特征在于，包括：

在進行機房遷移后的新機房的數據庫中，根據配置文件進行掃描，查找到包含ip地址的目標字段，以及獲取所述目標字段的原始數據；

在所述配置文件中獲取ip地址集合，根據所述ip地址集合，匹配所述原始數據對應的所述新機房的目的地址；

根據所述目標字段、所述原始數據以及所述目的地址，生成訂正SQL語句；

執行所述訂正SQL語句，以將所述原始數據在原機房的源地址替換為所述目的地址。

2.根據權利要求1所述的方法，其特征在于，在進行機房遷移后的新機房的數據庫中，根據配置文件進行掃描，查找到包含ip地址的目標字段，以及獲取所述目標字段對應的原始數據，包括：

在所述配置文件中確定數據庫實例配置，根據所述數據庫實例配置確定待掃描數據庫，判斷所述待掃描數據庫中是否存在包含ip地址的目標字段；

若所述待掃描數據庫中存在包含ip地址的目標字段，則根據預設正則表達式匹配出所述目標字段對應的原始數據。

3.根據權利要求2所述的方法，其特征在于，判斷所述待掃描數據庫中是否存在包含ip地址的目標字段，包括：

根據所述待掃描數據庫的數據庫信息，判斷所述待掃描數據庫中是否存在包含ip地址的目標字段；

其中，所述數據庫信息包括以下至少一項：數據庫名、表名、列名、數據類型。

4.根據權利要求1所述的方法，其特征在于，還包括：

在查找所述目標字段的過程中，按照黑名單和/或白名單進行所述目標字段的查找；

其中，所述黑名單中記錄不需要進行數據清洗的字段，所述白名單中記錄需要進行數據清洗的字段。

5.根據權利要求1所述的方法，其特征在于，在所述配置文件中獲取ip地址集合，根據所述ip地址集合，匹配所述原始數據對應的所述新機房的目的地址，包括：

在所述配置文件中讀取ip地址集合，所述ip地址集合中包括原機房對應的源地址和所述新機房對應的目的地址；

將所述原始數據與所述ip地址集合進行對比，確定所述原始數據的源地址以及與所述原始數據匹配的目的地址。

6.根據權利要求1至5中任一項所述的方法，其特征在于，在執行所述訂正SQL語句，以將所述原始數據在原機房的源地址替換為所述目的地址之后，還包括：

將所述原始數據的所述目的地址更新為所述源地址。

7.根據權利要求1至5中任一項所述的方法，其特征在于，在執行所述訂正SQL語句，以將所述原始數據在原機房的源地址替換為所述目的地址之后，還包括：

將數據清洗過程記錄在日志中。

8.一種數據清洗裝置，其特征在于，包括：

獲取模塊，用于在進行機房遷移后的新機房的數據庫中，根據配置文件進行掃描，查找到包含ip地址的目標字段，以及獲取所述目標字段的原始數據；

匹配模塊，用于在所述配置文件中獲取ip地址集合，根據所述ip地址集合，匹配所述原始數據對應的新機房的目的地址；

語句生成模塊，用于根據所述目標字段、所述原始數據以及所述目的地址，生成訂正SQL語句；

清洗模塊，用于執行所述訂正SQL語句，以將所述原始數據在原機房的源地址替換為所述目的地址。

9.一種計算機設備，其特征在于，包括處理器和存儲器，所述存儲器存儲有在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如權利要求1至7中任一項所述的數據清洗方法的步驟。

10.一種可讀存儲介質，其上存儲有程序或指令，其特征在于，所述程序或指令被處理器執行時實現如權利要求1至7中任一項所述的數據清洗方法的步驟。