[發(fā)明專利]一種可配置數(shù)據(jù)清洗系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201810677790.5
• 申請日: 2018-06-27
• 公開（公告）號: CN108984652B
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計）人: 陳鵬林;郝東進;沈惟冉;王騰龍
• 申請（專利權(quán)）人: 北京圣康匯金科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京國昊天誠知識產(chǎn)權(quán)代理有限公司 11315
• 代理人: 許志勇

1.一種可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，包括任務(wù)控制器、清洗工具、第一配置表、第二配置表、第三配置表；

所述第一配置表包括任務(wù)編碼和與所述任務(wù)編碼對應(yīng)的清洗工具；

所述第二配置表包括任務(wù)編碼、與所述任務(wù)編碼對應(yīng)的至少一個數(shù)據(jù)標(biāo)識，還包括與所述數(shù)據(jù)標(biāo)識對應(yīng)的源數(shù)據(jù)庫、目標(biāo)數(shù)據(jù)庫和清洗規(guī)則標(biāo)識；

所述源數(shù)據(jù)庫中包括至少一個源字段；所述目標(biāo)數(shù)據(jù)庫中包括至少一個目標(biāo)字段；

所述第三配置表包括數(shù)據(jù)標(biāo)識、與所述數(shù)據(jù)標(biāo)識對應(yīng)的字段名稱，還包括與所述字段名稱對應(yīng)的源字段、目標(biāo)字段和轉(zhuǎn)換規(guī)則標(biāo)識；

所述任務(wù)控制器，用于讀取所述各配置表，根據(jù)所述任務(wù)編碼調(diào)用對應(yīng)的清洗工具；所述任務(wù)編碼用于表示來源于外部系統(tǒng)的任務(wù)；任務(wù)觸發(fā)方式包含外部觸發(fā)；

所述清洗工具，用于根據(jù)所述任務(wù)編碼對應(yīng)的數(shù)據(jù)標(biāo)識從源數(shù)據(jù)庫中讀取源數(shù)據(jù)、確定清洗規(guī)則、按照所述清洗規(guī)則篩選所述源數(shù)據(jù)；確定所述字段名稱對應(yīng)的轉(zhuǎn)換規(guī)則，由源字段的數(shù)據(jù)轉(zhuǎn)換為目標(biāo)字段的數(shù)據(jù)，存儲至所述目標(biāo)數(shù)據(jù)庫。

2.如權(quán)利要求1所述的可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，所述可配置數(shù)據(jù)清洗系統(tǒng)還包括任務(wù)列表；

所述任務(wù)列表中包括至少一個任務(wù)編碼；

所述任務(wù)控制器，還用于按照所述任務(wù)列表中的任務(wù)編碼的順序讀取第一配置表。

3.如權(quán)利要求2所述的可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，所述任務(wù)列表還包括任務(wù)狀態(tài)標(biāo)識，用于所述任務(wù)控制器讀取和修改任務(wù)狀態(tài)標(biāo)識；

所述任務(wù)狀態(tài)標(biāo)識包括待執(zhí)行、執(zhí)行中、執(zhí)行成功、執(zhí)行失敗。

4.如權(quán)利要求1～3任意一個所述的可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，所述第二配置表還包括源數(shù)據(jù)表和目標(biāo)數(shù)據(jù)表；

所述源數(shù)據(jù)表位于所述源數(shù)據(jù)庫內(nèi)，用于提供所述源數(shù)據(jù)；

所述目標(biāo)數(shù)據(jù)表位于所述目標(biāo)數(shù)據(jù)庫內(nèi)，用于存儲所述目標(biāo)數(shù)據(jù)。

5.如權(quán)利要求1～3任意一個所述的可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，所述清洗規(guī)則包括全清洗規(guī)則和/或增量清洗規(guī)則；

所述全清洗規(guī)則為清洗所有源數(shù)據(jù)；

所述增量清洗規(guī)則為清洗未清洗過的源數(shù)據(jù)。

6.如權(quán)利要求1～3任意一個所述的可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，所述轉(zhuǎn)換規(guī)則包括以下至少一種：

數(shù)據(jù)格式轉(zhuǎn)換、數(shù)據(jù)類型轉(zhuǎn)換、數(shù)據(jù)簡單處理；

所述數(shù)據(jù)簡單處理包括數(shù)據(jù)截取和數(shù)據(jù)擴展。

7.如權(quán)利要求1～3任意一個所述的可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，所述第一配置表還包括任務(wù)觸發(fā)方式標(biāo)識；

所述任務(wù)觸發(fā)方式還包括按時間順序觸發(fā)。

8.一種可配置數(shù)據(jù)清洗方法，用于權(quán)利要求1～7中任意一種可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，包括以下步驟：

讀取所述第一配置表、第二配置表和第三配置表，根據(jù)所述任務(wù)編碼調(diào)用清洗工具；

根據(jù)所述任務(wù)編碼對應(yīng)的數(shù)據(jù)標(biāo)識從源數(shù)據(jù)庫中讀取源數(shù)據(jù)、確定清洗規(guī)則、按照所述清洗規(guī)則篩選所述源數(shù)據(jù)；

確定所述字段名稱對應(yīng)的轉(zhuǎn)換規(guī)則，由源字段的數(shù)據(jù)轉(zhuǎn)換為目標(biāo)字段的數(shù)據(jù)，存儲至所述目標(biāo)數(shù)據(jù)庫。

9.如權(quán)利要求8所述的可配置數(shù)據(jù)清洗方法，用于任務(wù)列表中包括任務(wù)狀態(tài)標(biāo)識的可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，還包括以下步驟：

按照所述任務(wù)列表中的任務(wù)編碼的順序讀取第一配置表。

10.如權(quán)利要求8所述可配置數(shù)據(jù)清洗方法，用于所述第一配置表包括任務(wù)觸發(fā)方式標(biāo)識的可配置數(shù)據(jù)清洗系統(tǒng)，其特征在于，還包括以下步驟：

僅讀取所述任務(wù)列表中任務(wù)狀態(tài)為待執(zhí)行標(biāo)識的任務(wù)編碼，讀取后將所述任務(wù)狀態(tài)標(biāo)識修改為表示執(zhí)行中的符號，任務(wù)完成后將所述任務(wù)狀態(tài)標(biāo)識修改為表示執(zhí)行結(jié)果的符號。