[發(fā)明專利]一種可配置數(shù)據(jù)清洗系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201810677790.5
• 申請日: 2018-06-27
• 公開（公告）號: CN108984652B
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計）人: 陳鵬林;郝東進(jìn);沈惟冉;王騰龍
• 申請（專利權(quán)）人: 北京圣康匯金科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許志勇

本申請公開了一種可配置數(shù)據(jù)清洗系統(tǒng)和方法，包括任務(wù)控制器、清洗工具、第一配置表、第二配置表、第三配置表。第一配置表包括任務(wù)編碼和清洗工具。第二配置表包括任務(wù)編碼、數(shù)據(jù)標(biāo)識、源數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)庫和清洗規(guī)則標(biāo)識。源數(shù)據(jù)庫中包括源字段，目標(biāo)數(shù)據(jù)庫中包括目標(biāo)字段。第三配置表包括數(shù)據(jù)標(biāo)識、字段名稱、源字段、目標(biāo)字段和轉(zhuǎn)換規(guī)則標(biāo)識。任務(wù)控制器讀取配置表，調(diào)用清洗工具。清洗工具根據(jù)任務(wù)編碼對應(yīng)的數(shù)據(jù)標(biāo)識從源數(shù)據(jù)庫中讀取源數(shù)據(jù)、確定清洗規(guī)則、按照清洗規(guī)則篩選源數(shù)據(jù)。確定字段名稱對應(yīng)的轉(zhuǎn)換規(guī)則標(biāo)識，由源字段的數(shù)據(jù)轉(zhuǎn)換為目標(biāo)字段的數(shù)據(jù)，發(fā)送至目標(biāo)數(shù)據(jù)庫。所述系統(tǒng)和方法保證了數(shù)據(jù)清洗的連貫性，有效利用時間和資源。

技術(shù)領(lǐng)域

本申請涉及軟件領(lǐng)域，尤其涉及一種可配置數(shù)據(jù)清洗系統(tǒng)和方法。

背景技術(shù)

近年來隨著互聯(lián)網(wǎng)行業(yè)的飛速發(fā)展，越來越多的信息可以直接從網(wǎng)絡(luò)上讀取。但同時互聯(lián)網(wǎng)端的數(shù)據(jù)來源和內(nèi)容復(fù)雜，數(shù)據(jù)量過于龐大。企業(yè)在進(jìn)行項目開發(fā)的過程中需要大量的數(shù)據(jù)，這些數(shù)據(jù)多數(shù)來源于互聯(lián)網(wǎng)。需要進(jìn)行二次處理將數(shù)據(jù)清洗后才可以使用，在數(shù)據(jù)清洗的過程中，不同來源的數(shù)據(jù)清洗需要不同的配置，導(dǎo)致配置繁瑣，當(dāng)數(shù)據(jù)清洗任務(wù)多的時候，數(shù)據(jù)源、目標(biāo)、轉(zhuǎn)換方式和步驟都難以維護(hù)。同一數(shù)據(jù)清洗在開發(fā)、測試及正式環(huán)境中的區(qū)別也會導(dǎo)致數(shù)據(jù)清洗過程需要重新編碼。數(shù)據(jù)清洗過程需要對每個數(shù)據(jù)清洗做日志記錄。

因此，本申請?zhí)岢隽艘环N可配置數(shù)據(jù)清洗系統(tǒng)和方法，所述系統(tǒng)和方法采用任務(wù)模式驅(qū)動，配置化任務(wù)模式和接口模式清洗，與數(shù)據(jù)集成方非侵入式集成，數(shù)據(jù)的讀取和存儲及清洗邏輯清晰，可通過可視化方案提供總覽，同時可以支持清洗邏輯的變更，確保數(shù)據(jù)清洗的連貫性，有效合理的利用數(shù)據(jù)清洗的資源和時間。

發(fā)明內(nèi)容

本申請實施例提供一種可配置數(shù)據(jù)清洗系統(tǒng)，解決了現(xiàn)有技術(shù)存在的配置繁瑣、數(shù)據(jù)的讀取和存儲以及清洗步驟難以維護(hù)、統(tǒng)一數(shù)據(jù)在不同環(huán)境下清洗需要重新編碼等問題。

所述可配置數(shù)據(jù)清洗系統(tǒng)包括任務(wù)控制器、清洗工具、第一配置表、第二配置表、第三配置表。

所述第一配置表包括任務(wù)編碼和與所述任務(wù)編碼對應(yīng)的清洗工具。

所述第二配置表包括任務(wù)編碼、與所述任務(wù)編碼對應(yīng)的至少一個數(shù)據(jù)標(biāo)識，還包括與所述數(shù)據(jù)標(biāo)識對應(yīng)的源數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)庫和清洗規(guī)則標(biāo)識。

所述源數(shù)據(jù)庫中包括至少一個源字段；所述目標(biāo)數(shù)據(jù)庫中包括至少一個目標(biāo)字段。

所述第三配置表包括數(shù)據(jù)標(biāo)識、與所述數(shù)據(jù)標(biāo)識對應(yīng)的字段名稱，還包括與所述字段名稱對應(yīng)的源字段、目標(biāo)字段和轉(zhuǎn)換規(guī)則標(biāo)識。

所述任務(wù)控制器，用于讀取所述各配置表，根據(jù)所述任務(wù)編碼調(diào)用對應(yīng)的清洗工具。

所述清洗工具，用于根據(jù)所述任務(wù)編碼對應(yīng)的數(shù)據(jù)標(biāo)識從源數(shù)據(jù)庫中讀取源數(shù)據(jù)、確定清洗規(guī)則、按照所述清洗規(guī)則篩選所述源數(shù)據(jù)；確定所述字段名稱對應(yīng)的轉(zhuǎn)換規(guī)則，由源字段的數(shù)據(jù)轉(zhuǎn)換為目標(biāo)字段的數(shù)據(jù)，存儲至所述目標(biāo)數(shù)據(jù)庫。

優(yōu)選地，所述可配置數(shù)據(jù)清洗系統(tǒng)還包括任務(wù)列表。所述任務(wù)列表中包括至少一個任務(wù)編碼。所述任務(wù)控制器，還用于按照所述任務(wù)列表中的任務(wù)編碼的順序讀取第一配置表。

優(yōu)選地，所述任務(wù)列表還包括任務(wù)狀態(tài)標(biāo)識，用于所述任務(wù)控制器讀取和修改任務(wù)狀態(tài)標(biāo)識。所述任務(wù)狀態(tài)標(biāo)識包括待執(zhí)行、執(zhí)行中、執(zhí)行成功、執(zhí)行失敗。

優(yōu)選地，所述第二配置表還包括源數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表。所述源數(shù)據(jù)表位于所述源數(shù)據(jù)庫內(nèi)，用于提供所述源數(shù)據(jù)。所述目標(biāo)數(shù)據(jù)表位于所述目標(biāo)數(shù)據(jù)庫內(nèi)，用于存儲所述目標(biāo)數(shù)據(jù)。

優(yōu)選地，所述清洗規(guī)則包括全清洗規(guī)則和/或增量清洗規(guī)則標(biāo)識。所述全清洗規(guī)則為清洗所有源數(shù)據(jù)。所述增量清洗規(guī)則為清洗未清洗過的源數(shù)據(jù)。