[發明專利]一種數據清洗方法和數據清洗系統

在審

• 申請號: 201810143012.8
• 申請日: 2018-02-11
• 公開（公告）號: CN108363782A
• 公開（公告）日: 2018-08-03
• 發明（設計）人: 博格利;賈子翔;龍岳;蔣成;郭佳睿
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/451
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;羅瑞芝

本發明提供一種數據清洗方法和數據清洗系統。該數據清洗方法包括：步驟S10：通過圖形化界面從異構數據源中選定待清洗的數據源；其中，異構數據源包括文本文件和數據庫數據；步驟S11：通過圖形化界面編輯數據清洗規則；步驟S12：通過圖形化界面執行數據清洗。該數據清洗方法通過圖形化界面從異構數據源中選定待清洗的數據源，能夠實現對不同數據源的融合清洗，同時，用戶通過在圖形化界面上簡單操作即可實現對數據的清洗，無需掌握數據清洗工具的開發和使用方法，降低了大數據應用服務的技術門檻，提升了用戶對大數據服務的體驗。

技術領域

本發明涉及通信技術領域，具體地，涉及一種數據清洗方法和數據清洗系統。

背景技術

近年來隨著大數據技術的發展，為原來海量的日志、上網記錄、歷史數據等提供了新的分析技術手段，通過分析這些海量數據能夠發現很多平時發現不到的有價值信息，數據分析由量變帶來質變。大數據技術對企業內部可以支撐企業的經營分析，對于外部可以實現新的應用創新，為用戶帶來更多更好的服務。

要做大數據服務，第一步就是要把分散在各處的數據采集上來，進行清洗，清洗好的數據進行入庫。這個過程又叫ETL，涉及extract數據抽取、Transformation數據轉換、Load數據裝載三個步驟。

然而過去數據清洗的手段只能針對單一的數據源，例如數據源要么是文本文件，要么是Oracle、Mysql數據庫的記錄，針對不同的數據源需要采用不同的清洗工具，目前還沒有辦法進行異構數據的融合清洗。另外，針對不同的數據源需要采用不同的清洗工具，不同數據源的清洗均需要編寫不同的程序和腳本，例如：對于Oracle、Mysql這些數據庫要在數據庫上編寫SQL清洗腳本；對于海量的文件，大數據的清洗手段有Mapreduce程序和Spark程序。這些清洗手段要求用戶掌握多種清洗工具的使用方法，有較高的清洗工具的開發能力，使用門檻比較高。

發明內容

本發明針對現有技術中存在的上述技術問題，提供一種數據清洗方法和數據清洗系統。該數據清洗方法通過圖形化界面從異構數據源中選定待清洗的數據源，能夠實現對不同數據源的融合清洗，同時，用戶通過在圖形化界面上簡單操作即可實現對數據的清洗，無需掌握數據清洗工具的開發和使用方法，降低了大數據應用服務的技術門檻，提升了用戶對大數據服務的體驗。

本發明提供一種數據清洗方法，包括：

步驟S10：通過圖形化界面從異構數據源中選定待清洗的數據源；其中，所述異構數據源包括文本文件和數據庫數據；

步驟S11：通過所述圖形化界面編輯數據清洗規則；

步驟S12：通過所述圖形化界面執行數據清洗。

優選地，所述步驟S11包括：

步驟S110：通過所述圖形化界面從選定的所述待清洗的數據源中選擇待清洗文件；

步驟S111：通過所述圖形化界面指定所述待清洗文件中的待清洗字段；

步驟S112：通過所述圖形化界面對所述待清洗字段配置清洗規則。

優選地，所述步驟S12還包括：向所述圖形化界面反饋數據清洗的運行日志信息。

優選地，在所述步驟S11之后和所述步驟S12之前還包括：

步驟S11′：通過所述圖形化界面指定清洗好的結果文件的輸出路徑；

在所述步驟S12之后還包括：

步驟S13：通過所述圖形化界面查看指定的所述輸出路徑下的所述結果文件。

優選地，在所述步驟S13之后還包括：

步驟S14：通過所述圖形化界面選擇執行所述結果文件的入庫操作。