[發明專利]數據清洗系統、方法、裝置及存儲介質

有效

• 申請號: 201811587767.3
• 申請日: 2018-12-25
• 公開（公告）號: CN109684319B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 曹連超;王斌;湛然;劉喜文;周加智;祁宏偉
• 申請（專利權）人: 北京小米移動軟件有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 胡業勤

1.一種數據清洗系統，其特征在于，所述系統包括：數據清洗組件庫、數據清洗規則庫、規則解析器、執行器和監聽器；其中，所述數據清洗組件庫中包括多個組件，每個所述組件用于執行數據清洗任務的至少一項操作，所述數據清洗規則庫中包括每個所述組件分別對應的規則文本，所述規則文本中包含所述組件運行所需的配置信息；

所述規則解析器，用于根據目標數據清洗任務包含的各項操作，從所述數據清洗組件庫中選取用于執行所述各項操作的k個組件，所述k為大于1的整數；從所述數據清洗規則庫中獲取所述k個組件各自對應的規則文本；根據所述k個組件各自對應的規則文本，生成所述目標數據清洗任務對應的總規則文本；解析所述總規則文本，得到所述目標數據清洗任務對應的配置信息；將所述目標數據清洗任務對應的配置信息發送給所述執行器；

所述執行器，用于根據所述目標數據清洗任務對應的配置信息，調用所述k個組件；通過所述k個組件執行所述目標數據清洗任務；

所述監聽器，用于記錄所述目標數據清洗任務的執行狀態信息；向外部系統提供所述執行狀態信息；

所述監聽器，還用于在所述目標數據清洗任務完成之后，對執行目標數據清洗任務的過程中產生的臨時文件進行清理。

2.根據權利要求1所述的系統，其特征在于，所述數據清洗組件庫中包括以下3種類型的組件：輸入組件、計算組件和輸出組件；其中，

所述輸入組件用于執行所述數據清洗任務中從數據源讀取數據的操作；

所述計算組件用于執行所述數據清洗任務中對數據進行清洗和計算的操作，得到數據處理結果；

所述輸出組件用于執行所述數據清洗任務中輸出所述數據處理結果的操作。

3.根據權利要求2所述的系統，其特征在于，所述規則解析器，用于：

從所述輸入組件中選取與所述目標數據清洗任務的數據源相匹配的組件；

從所述計算組件中選取與所述目標數據清洗任務的處理和計算邏輯相匹配的組件；

從所述輸出組件中選取與所述目標數據清洗任務的數據處理結果相匹配的組件。

4.根據權利要求2所述的系統，其特征在于，所述數據清洗組件庫中還包括以下1種類型的組件：優化組件；

所述優化組件用于對所述數據處理結果執行優化操作，得到優化后的數據處理結果；其中，所述優化后的數據處理結果由所述輸出組件輸出。

5.根據權利要求1所述的系統，其特征在于，所述規則解析器，用于：

按照所述k個組件之間的依賴和嵌套關系對所述k個組件各自對應的規則文本進行組合，生成所述目標數據清洗任務對應的總規則文本。

6.一種數據清洗方法，其特征在于，應用于數據清洗系統中，所述系統包括：數據清洗組件庫、數據清洗規則庫、規則解析器、執行器和監聽器；其中，所述數據清洗組件庫中包括多個組件，每個所述組件用于執行數據清洗任務的至少一項操作，所述數據清洗規則庫中包括每個所述組件分別對應的規則文本，所述規則文本中包含所述組件運行所需的配置信息；

所述方法包括：

所述規則解析器根據目標數據清洗任務包含的各項操作，從所述數據清洗組件庫中選取用于執行所述各項操作的k個組件，所述k為大于1的整數；從所述數據清洗規則庫中獲取所述k個組件各自對應的規則文本；根據所述k個組件各自對應的規則文本，生成所述目標數據清洗任務對應的總規則文本；解析所述總規則文本，得到所述目標數據清洗任務對應的配置信息；將所述目標數據清洗任務對應的配置信息發送給所述執行器；

所述執行器根據所述目標數據清洗任務對應的配置信息，調用所述k個組件；通過所述k個組件執行所述目標數據清洗任務；

所述監聽器記錄所述目標數據清洗任務的執行狀態信息；向外部系統提供所述執行狀態信息；

所述監聽器在所述目標數據清洗任務完成之后，對執行目標數據清洗任務的過程中產生的臨時文件進行清理。