[發(fā)明專利]一種數(shù)據(jù)清洗方法、裝置、計(jì)算機(jī)設(shè)備和可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310365547.0
• 申請(qǐng)日: 2023-04-03
• 公開（公告）號(hào): CN116383187A
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 王曉羽
• 申請(qǐng)（專利權(quán)）人: 康鍵信息技術(shù)（深圳）有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/21;G06F16/242;G06F16/2455
• 代理公司: 北京中強(qiáng)智尚知識(shí)產(chǎn)權(quán)代理有限公司 11448
• 代理人: 朱春元

本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)清洗方法、裝置、計(jì)算機(jī)設(shè)備和可讀存儲(chǔ)介質(zhì)，涉及數(shù)據(jù)處理及數(shù)字醫(yī)療領(lǐng)域。該方法包括：在進(jìn)行機(jī)房遷移后的新機(jī)房的數(shù)據(jù)庫(kù)中，根據(jù)配置文件進(jìn)行掃描，查找到包含ip地址的目標(biāo)字段，以及獲取所述目標(biāo)字段的原始數(shù)據(jù)；在所述配置文件中獲取ip地址集合，根據(jù)所述ip地址集合，匹配所述原始數(shù)據(jù)對(duì)應(yīng)的所述新機(jī)房的目的地址；根據(jù)所述目標(biāo)字段、所述原始數(shù)據(jù)以及所述目的地址，生成訂正SQL語(yǔ)句；執(zhí)行所述訂正SQL語(yǔ)句，以將所述原始數(shù)據(jù)在原機(jī)房的源地址替換為所述目的地址。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理及數(shù)字醫(yī)療技術(shù)領(lǐng)域，尤其是涉及到一種數(shù)據(jù)清洗方法、數(shù)據(jù)清洗裝置、計(jì)算機(jī)設(shè)備和可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，系統(tǒng)數(shù)據(jù)中機(jī)房固有化配置(例如，ip地址、機(jī)房特定域名等)較多且非常分散，在需要做機(jī)房遷移及新機(jī)房部署時(shí)，必須將這些固有化配置進(jìn)行數(shù)據(jù)清洗。

相關(guān)技術(shù)中，固有化配置清洗的步驟為：

(1)開發(fā)人員手工遍歷所有實(shí)例、庫(kù)、表，篩選出可能帶有ip地址的字段；

(2)開發(fā)人員手工篩選是否包含ip地址，并且讓業(yè)務(wù)開發(fā)同學(xué)介入一起處理；

(3)開發(fā)人員向運(yùn)維人員咨詢新機(jī)房的目的地址；

(4)開發(fā)人員手工編寫更新訂正SQL語(yǔ)句；

(5)提交DBA(Database?Administrator，數(shù)據(jù)庫(kù)管理員)執(zhí)行。

上述方法至少存在以下問(wèn)題：

(1)數(shù)據(jù)清洗過(guò)程需要運(yùn)維、開發(fā)、DBA等多方參與，導(dǎo)致清洗效率較低；

(2)遍歷、篩選字段的工作量極大，人工操作效率極低且容易遺漏。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)清洗方法、數(shù)據(jù)清洗裝置、計(jì)算機(jī)設(shè)備和可讀存儲(chǔ)介質(zhì)，解決了相關(guān)技術(shù)中數(shù)據(jù)清洗效率低且容易遺漏的問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供了一種數(shù)據(jù)清洗方法，包括：

在進(jìn)行機(jī)房遷移后的新機(jī)房的數(shù)據(jù)庫(kù)中，根據(jù)配置文件進(jìn)行掃描，查找到包含ip地址的目標(biāo)字段，以及獲取所述目標(biāo)字段的原始數(shù)據(jù)；

在所述配置文件中獲取ip地址集合，根據(jù)所述ip地址集合，匹配所述原始數(shù)據(jù)對(duì)應(yīng)的新機(jī)房的目的地址；

根據(jù)所述目標(biāo)字段、所述原始數(shù)據(jù)以及所述目的地址，生成訂正SQL語(yǔ)句；

執(zhí)行所述訂正SQL語(yǔ)句，以將所述原始數(shù)據(jù)在原機(jī)房的源地址替換為所述目的地址。

根據(jù)本申請(qǐng)實(shí)施例的上述數(shù)據(jù)清洗方法，還可以具有以下附加技術(shù)特征：

在上述技術(shù)方案中，可選地，在進(jìn)行機(jī)房遷移后的新機(jī)房的數(shù)據(jù)庫(kù)中，根據(jù)配置文件進(jìn)行掃描，查找到包含ip地址的目標(biāo)字段，以及獲取所述目標(biāo)字段對(duì)應(yīng)的原始數(shù)據(jù)，包括：

在所述配置文件中確定數(shù)據(jù)庫(kù)實(shí)例配置，根據(jù)所述數(shù)據(jù)庫(kù)實(shí)例配置確定待掃描數(shù)據(jù)庫(kù)，判斷所述待掃描數(shù)據(jù)庫(kù)中是否存在包含ip地址的目標(biāo)字段；

若所述待掃描數(shù)據(jù)庫(kù)中存在包含ip地址的目標(biāo)字段，則根據(jù)預(yù)設(shè)正則表達(dá)式匹配出所述目標(biāo)字段對(duì)應(yīng)的原始數(shù)據(jù)。

在上述任一技術(shù)方案中，可選地，判斷所述待掃描數(shù)據(jù)庫(kù)中是否存在包含ip地址的目標(biāo)字段，包括：

根據(jù)所述待掃描數(shù)據(jù)庫(kù)的數(shù)據(jù)庫(kù)信息，判斷所述待掃描數(shù)據(jù)庫(kù)中是否存在包含ip地址的目標(biāo)字段；

其中，所述數(shù)據(jù)庫(kù)信息包括以下至少一項(xiàng)：數(shù)據(jù)庫(kù)名、表名、列名、數(shù)據(jù)類型。

在上述任一技術(shù)方案中，可選地，該方法還包括：