[發(fā)明專利]數(shù)據(jù)清洗方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011106674.1
• 申請(qǐng)日: 2020-10-16
• 公開（公告）號(hào): CN112199364A
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 黃一格
• 申請(qǐng)（專利權(quán)）人: 平安國(guó)際智慧城市科技股份有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/22;G06F16/2457
• 代理公司: 深圳市賽恩倍吉知識(shí)產(chǎn)權(quán)代理有限公司 44334
• 代理人: 遲珊珊

本發(fā)明涉及數(shù)據(jù)處理，提供一種數(shù)據(jù)清洗方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。該方法能夠確定觸發(fā)配置庫(kù)更新的目標(biāo)配置表，確定與目標(biāo)配置表對(duì)應(yīng)的目標(biāo)數(shù)據(jù)源，確定目標(biāo)配置表中的更新信息，從更新信息中獲取指示數(shù)據(jù)信息，從目標(biāo)數(shù)據(jù)源中讀取與指示數(shù)據(jù)信息對(duì)應(yīng)的待清洗數(shù)據(jù)，解析更新信息，得到清洗信息，利用清洗信息清洗待清洗數(shù)據(jù)，得到目標(biāo)數(shù)據(jù)，將目標(biāo)數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)源，得到清洗后的目標(biāo)數(shù)據(jù)源，當(dāng)清洗后的目標(biāo)數(shù)據(jù)源通過(guò)數(shù)據(jù)質(zhì)量檢測(cè)時(shí)，以清洗后的目標(biāo)數(shù)據(jù)源響應(yīng)數(shù)據(jù)清洗請(qǐng)求。本發(fā)明不僅能夠提高數(shù)據(jù)清洗效率，還能夠確保清洗后的目標(biāo)數(shù)據(jù)源中的數(shù)據(jù)質(zhì)量。此外，本發(fā)明還涉及區(qū)塊鏈技術(shù)，所述清洗后的目標(biāo)數(shù)據(jù)源可存儲(chǔ)于區(qū)塊鏈中。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)清洗方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

為了糾正數(shù)據(jù)源中存在的錯(cuò)誤數(shù)據(jù)，通常會(huì)對(duì)錯(cuò)誤數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗處理。目前，在對(duì)數(shù)據(jù)進(jìn)行清洗時(shí)，通常會(huì)針對(duì)不同的數(shù)據(jù)設(shè)定不同的實(shí)時(shí)流任務(wù)。然而，當(dāng)產(chǎn)生新的清洗請(qǐng)求時(shí)，需要為每個(gè)清洗對(duì)象單獨(dú)編寫程序，導(dǎo)致清洗效率降低，此外，通過(guò)多個(gè)實(shí)時(shí)流任務(wù)響應(yīng)清洗請(qǐng)求，由于清洗請(qǐng)求中包括成千上萬(wàn)個(gè)規(guī)則代碼，導(dǎo)致清洗規(guī)則混亂，進(jìn)而造成數(shù)據(jù)質(zhì)量下降。

發(fā)明內(nèi)容

鑒于以上內(nèi)容，有必要提供一種數(shù)據(jù)清洗方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，不僅能夠提高數(shù)據(jù)清洗效率，還能夠確保清洗后的目標(biāo)數(shù)據(jù)源中的數(shù)據(jù)質(zhì)量。

一方面，本發(fā)明提出一種數(shù)據(jù)清洗方法，所述數(shù)據(jù)清洗方法包括：

當(dāng)檢測(cè)到配置庫(kù)更新時(shí)，生成數(shù)據(jù)清洗請(qǐng)求，并根據(jù)所述數(shù)據(jù)清洗請(qǐng)求確定觸發(fā)所述配置庫(kù)更新的目標(biāo)配置表；

確定與所述目標(biāo)配置表對(duì)應(yīng)的目標(biāo)數(shù)據(jù)源，并確定所述目標(biāo)配置表中的更新信息；

從所述更新信息中獲取指示數(shù)據(jù)信息，所述指示數(shù)據(jù)信息包括數(shù)據(jù)類型及配置條件；

從所述目標(biāo)數(shù)據(jù)源中讀取與所述指示數(shù)據(jù)信息對(duì)應(yīng)的待清洗數(shù)據(jù)；

解析所述更新信息，得到清洗信息，所述清洗信息包括清洗規(guī)則、字段類型、配置替換值；

利用所述清洗信息清洗所述待清洗數(shù)據(jù)，得到目標(biāo)數(shù)據(jù)，并將所述目標(biāo)數(shù)據(jù)寫入所述目標(biāo)數(shù)據(jù)源，得到清洗后的目標(biāo)數(shù)據(jù)源；

對(duì)所述清洗后的目標(biāo)數(shù)據(jù)源進(jìn)行數(shù)據(jù)質(zhì)量檢測(cè)；

當(dāng)所述清洗后的目標(biāo)數(shù)據(jù)源通過(guò)數(shù)據(jù)質(zhì)量檢測(cè)時(shí)，以所述清洗后的目標(biāo)數(shù)據(jù)源響應(yīng)所述數(shù)據(jù)清洗請(qǐng)求。

根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述生成數(shù)據(jù)清洗請(qǐng)求包括：

獲取所述配置庫(kù)的庫(kù)標(biāo)識(shí)，并獲取檢測(cè)到所述配置庫(kù)更新時(shí)的更新時(shí)間；

從預(yù)設(shè)日志表中獲取同時(shí)與所述庫(kù)標(biāo)識(shí)及所述更新時(shí)間對(duì)應(yīng)的日志列表；

從所述日志列表中提取表標(biāo)識(shí)，并封裝所述表標(biāo)識(shí)，得到所述數(shù)據(jù)清洗請(qǐng)求。

根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述確定所述目標(biāo)配置表中的更新信息包括：

獲取所述目標(biāo)配置表的修訂信息，并獲取所述修訂信息的至少一個(gè)修訂時(shí)間；

從所述至少一個(gè)修訂時(shí)間中確定出與所述更新時(shí)間相同的修訂時(shí)間作為目標(biāo)時(shí)間；

確定與所述目標(biāo)時(shí)間對(duì)應(yīng)的修訂信息作為所述更新信息。

根據(jù)本發(fā)明優(yōu)選實(shí)施例，所述從所述更新信息中獲取指示數(shù)據(jù)信息，所述指示數(shù)據(jù)信息包括數(shù)據(jù)類型及配置條件包括：

遍歷所述更新信息，并將遍歷到的更新信息與類型庫(kù)中所有類型進(jìn)行匹配；