[發明專利]一種大數據清洗方法及裝置

在審

• 申請號: 202010431417.9
• 申請日: 2020-05-20
• 公開（公告）號: CN111611232A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 趙向雄;周取寶;葉青
• 申請（專利權）人: 浩云科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/17;G06F8/20
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發明公開了一種大數據清洗方法，包括：通過高性能消息服務器獲取待清洗數據；對所述待清洗數據進行模板匹配，獲取所述待清洗數據所對應的清洗模板；根據所述清洗模板對所述待清洗數據進行過濾處理，得到過濾數據；根據所述清洗模板對所述過濾數據進行提取處理，得到提取數據；根據所述清洗模板對所述提取數據進行數據轉換處理，得到轉換數據，輸出結果；本發明通過清洗模板對數據進行過濾、提取和轉換處理，實現對大數據的清洗功能，提高海量數據清洗的效率和質量。

技術領域

本發明涉及大數據處理技術領域，尤其涉及一種大數據清洗方法及裝置。

背景技術

在數據處理領域中，系統每次接入新業務，都需要程序員重新開發日志清洗邏輯，該開發程序的周期較長，并且每次重新開發業務邏輯，無法統一保證軟件質量；而普通編碼清洗日志方式，性能較差，無法實時清洗海量數。

因此，目前市面上亟需一種大數據清洗策略，以提高海量數據清洗的效率和質量。

發明內容

本發明提供了一種大數據清洗方法，實現對大數據的清洗功能，提高海量數據清洗的效率和質量。

為了解決上述技術問題，本發明實施例提供了一種大數據清洗方法，包括：

通過高性能消息服務器獲取待清洗數據；

對所述待清洗數據進行模板匹配，獲取所述待清洗數據所對應的清洗模板；

根據所述清洗模板對所述待清洗數據進行過濾處理，得到過濾數據；

根據所述清洗模板對所述過濾數據進行提取處理，得到提取數據；

根據所述清洗模板對所述提取數據進行數據轉換處理，得到轉換數據，輸出結果。

作為優選方案，所述大數據清洗方法還包括：根據所述清洗數據，在數據庫中查詢得到所述清洗數據所對應的信息數據。

作為優選方案，所述清洗模板包括過濾子模板、提取子模板和轉換子模板；

根據所述過濾子模板對所述待清洗數據進行過濾處理，得到過濾數據；

根據所述提取子模板對所述過濾數據進行提取處理，得到提取數據；

根據所述轉換子模板對所述提取數據進行數據轉換處理，得到轉換數據。

作為優選方案，所述過濾處理、提取處理和數據轉換處理的過程均使用多線程技術進行數據清洗。

本發明實施例還提供了一種大數據清洗裝置，包括：

數據獲取模塊，用于通過高性能消息服務器獲取待清洗數據；

模板匹配模塊，用于對所述待清洗數據進行模板匹配，獲取所述待清洗數據所對應的清洗模板；

數據過濾模塊，用于根據所述清洗模板對所述待清洗數據進行過濾處理，得到過濾數據；

數據提取模塊，用于根據所述清洗模板對所述過濾數據進行提取處理，得到提取數據；

數據轉換模塊，用于根據所述清洗模板對所述提取數據進行數據轉換處理，得到轉換數據，輸出結果。

作為優選方案，所述大數據清洗裝置還包括：數據查詢模塊，用于根據所述清洗數據，在數據庫中查詢得到所述清洗數據所對應的信息數據。

作為優選方案，所述清洗模板包括過濾子模板、提取子模板和轉換子模板；

所述數據過濾模塊用于根據所述過濾子模板對所述待清洗數據進行過濾處理，得到過濾數據；

所述數據提取模塊用于根據所述提取子模板對所述過濾數據進行提取處理，得到提取數據；