[發明專利]模塊化數據清洗方法及裝置

在審

• 申請號: 201910080168.0
• 申請日: 2019-01-28
• 公開（公告）號: CN109947753A
• 公開（公告）日: 2019-06-28
• 發明（設計）人: 楊柳;田森;黃小浦;安平凱
• 申請（專利權）人: 中科恒運股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 石家莊國為知識產權事務所 13120
• 代理人: 秦敏華

1.一種模塊化數據清洗方法，其特征在于，包括：

接收客戶端發送的數據清洗請求和待清洗數據；

解析所述數據清洗請求，并根據解析結果確定對應的組件模型；每個所述組件模型用于實現相應的數據清洗功能；

調用所述組件模型的接口對所述待清洗數據進行清洗。

2.如權利要求1所述的模塊化數據清洗方法，其特征在于，在所述接收客戶端發送的數據清洗請求的步驟之前，所述模塊化數據清洗方法還包括：

構建多個用于數據清洗的組件模型；

分別為各個所述組件模型設計對應的接口。

3.如權利要求1所述的模塊化數據清洗方法，其特征在于，所述解析所述數據清洗請求，并根據解析結果確定對應的組件模型，包括：

檢索所述數據清洗請求中的關鍵字；

根據所述關鍵字以及各個所述組件模型的名稱信息或功能信息，確定對應的組件模型。

4.如權利要求1所述的模塊化數據清洗方法，其特征在于，所述數據清洗請求中包含組件模型標識信息；所述解析所述數據清洗請求，并根據解析結果確定對應的組件模型，包括：

提取所述數據清洗請求中的組件模型標識信息；

根據所述組件模型標識信息確定對應的組件模型。

5.如權利要求1至4中任一項所述的模塊化數據清洗方法，其特征在于，在所述調用所述組件模型的接口對所述數據清洗請求中的原始數據進行清洗的步驟之后，所述模塊化數據清洗方法還包括：

檢驗清洗結果；

當所述清洗結果不滿足所述數據清洗請求中的清洗要求時，重復執行所述調用所述組件模型的接口對所述數據清洗請求中的原始數據進行清洗的步驟，直至所述清洗結果滿足所述數據清洗請求中的清洗要求。

6.如權利要求5所述的模塊化數據清洗方法，其特征在于，所述模塊化數據清洗方法還包括：

當所述清洗結果滿足所述數據清洗請求中的清洗要求時，將洗清后的原始數據存儲至預設的目標數據庫。

7.一種模塊化數據清洗裝置，其特征在于，包括：

輸入單元，用于接收客戶端發送的數據清洗請求和待清洗數據；

解析單元，用于解析所述數據清洗請求，并根據解析結果確定對應的組件模型；每個所述組件模型用于實現相應的數據清洗功能；

執行單元，用于調用所述組件模型的接口對所述待清洗數據進行清洗。

8.如權利要求7所述的模塊化數據清洗裝置，其特征在于，所述模塊化數據清洗裝置還包括：

模型構建單元，用于構建多個用于數據清洗的組件模型；

接口單元，用于分別為各個所述組件模型設計對應的接口。

9.一種終端設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至6任一項所述方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述方法的步驟。