[發(fā)明專利]一種數(shù)據(jù)清洗方法和數(shù)據(jù)清洗系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201810143012.8
• 申請日: 2018-02-11
• 公開（公告）號: CN108363782A
• 公開（公告）日: 2018-08-03
• 發(fā)明（設(shè)計）人: 博格利;賈子翔;龍岳;蔣成;郭佳睿
• 申請（專利權(quán)）人: 中國聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/451
• 代理公司: 北京天昊聯(lián)合知識產(chǎn)權(quán)代理有限公司 11112
• 代理人: 彭瑞欣;羅瑞芝

1.一種數(shù)據(jù)清洗方法，其特征在于，包括：

步驟S10：通過圖形化界面從異構(gòu)數(shù)據(jù)源中選定待清洗的數(shù)據(jù)源；其中，所述異構(gòu)數(shù)據(jù)源包括文本文件和數(shù)據(jù)庫數(shù)據(jù)；

步驟S11：通過所述圖形化界面編輯數(shù)據(jù)清洗規(guī)則；

步驟S12：通過所述圖形化界面執(zhí)行數(shù)據(jù)清洗。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)清洗方法，其特征在于，所述步驟S11包括：

步驟S110：通過所述圖形化界面從選定的所述待清洗的數(shù)據(jù)源中選擇待清洗文件；

步驟S111：通過所述圖形化界面指定所述待清洗文件中的待清洗字段；

步驟S112：通過所述圖形化界面對所述待清洗字段配置清洗規(guī)則。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)清洗方法，其特征在于，所述步驟S12還包括：向所述圖形化界面反饋數(shù)據(jù)清洗的運(yùn)行日志信息。

4.根據(jù)權(quán)利要求1或3所述的數(shù)據(jù)清洗方法，其特征在于，在所述步驟S11之后和所述步驟S12之前還包括：

步驟S11′：通過所述圖形化界面指定清洗好的結(jié)果文件的輸出路徑；

在所述步驟S12之后還包括：

步驟S13：通過所述圖形化界面查看指定的所述輸出路徑下的所述結(jié)果文件。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)清洗方法，其特征在于，在所述步驟S13之后還包括：

步驟S14：通過所述圖形化界面選擇執(zhí)行所述結(jié)果文件的入庫操作。

6.一種數(shù)據(jù)清洗系統(tǒng)，其特征在于，包括：

選擇模塊，用于通過圖形化界面從異構(gòu)數(shù)據(jù)源中選定待清洗的數(shù)據(jù)源；其中，所述異構(gòu)數(shù)據(jù)源包括文本文件和數(shù)據(jù)庫數(shù)據(jù)；

編輯模塊，用于通過所述圖形化界面編輯數(shù)據(jù)清洗規(guī)則；

清洗模塊，用于通過所述圖形化界面執(zhí)行數(shù)據(jù)清洗。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)清洗系統(tǒng)，其特征在于，所述編輯模塊包括：

第一選擇單元，用于通過所述圖形化界面從選定的所述待清洗的數(shù)據(jù)源中選擇待清洗文件；

第二選擇單元，用于通過所述圖形化界面指定所述待清洗文件中的待清洗字段；

配置單元，用于通過所述圖形化界面對所述待清洗字段配置清洗規(guī)則。

8.根據(jù)權(quán)利要求6所述的數(shù)據(jù)清洗系統(tǒng)，其特征在于，還包括反饋模塊，用于向所述圖形化界面反饋數(shù)據(jù)清洗的運(yùn)行日志信息。

9.根據(jù)權(quán)利要求6或8所述的數(shù)據(jù)清洗系統(tǒng)，其特征在于，還包括指定模塊，用于通過所述圖形化界面指定清洗好的結(jié)果文件的輸出路徑；

查看模塊，用于通過所述圖形化界面查看指定的所述輸出路徑下的所述結(jié)果文件。

10.根據(jù)權(quán)利要求9所述的數(shù)據(jù)清洗系統(tǒng)，其特征在于，還包括入庫模塊，用于通過所述圖形化界面選擇執(zhí)行所述結(jié)果文件的入庫操作。