[發明專利]一種大數據清洗方法及裝置

在審

• 申請號: 202010431417.9
• 申請日: 2020-05-20
• 公開（公告）號: CN111611232A
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 趙向雄;周取寶;葉青
• 申請（專利權）人: 浩云科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/242;G06F16/17;G06F8/20
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

1.一種大數據清洗方法，其特征在于，包括：

通過高性能消息服務器獲取待清洗數據；

對所述待清洗數據進行模板匹配，獲取所述待清洗數據所對應的清洗模板；

根據所述清洗模板對所述待清洗數據進行過濾處理，得到過濾數據；

根據所述清洗模板對所述過濾數據進行提取處理，得到提取數據；

根據所述清洗模板對所述提取數據進行數據轉換處理，得到轉換數據，輸出結果。

2.如權利要求1所述的大數據清洗方法，其特征在于，還包括：根據所述清洗數據，在數據庫中查詢得到所述清洗數據所對應的信息數據。

3.如權利要求1所述的大數據清洗方法，其特征在于，所述清洗模板包括過濾子模板、提取子模板和轉換子模板；

根據所述過濾子模板對所述待清洗數據進行過濾處理，得到過濾數據；

根據所述提取子模板對所述過濾數據進行提取處理，得到提取數據；

根據所述轉換子模板對所述提取數據進行數據轉換處理，得到轉換數據。

4.如權利要求1所述的大數據清洗方法，其特征在于，所述過濾處理、提取處理和數據轉換處理的過程均使用多線程技術進行數據清洗。

5.一種大數據清洗裝置，其特征在于，包括：

數據獲取模塊，用于通過高性能消息服務器獲取待清洗數據；

模板匹配模塊，用于對所述待清洗數據進行模板匹配，獲取所述待清洗數據所對應的清洗模板；

數據過濾模塊，用于根據所述清洗模板對所述待清洗數據進行過濾處理，得到過濾數據；

數據提取模塊，用于根據所述清洗模板對所述過濾數據進行提取處理，得到提取數據；

數據轉換模塊，用于根據所述清洗模板對所述提取數據進行數據轉換處理，得到轉換數據，輸出結果。

6.如權利要求5所述的大數據清洗裝置，其特征在于，還包括：數據查詢模塊，用于根據所述清洗數據，在數據庫中查詢得到所述清洗數據所對應的信息數據。

7.如權利要求5所述的大數據清洗裝置，其特征在于，所述清洗模板包括過濾子模板、提取子模板和轉換子模板；

所述數據過濾模塊用于根據所述過濾子模板對所述待清洗數據進行過濾處理，得到過濾數據；

所述數據提取模塊用于根據所述提取子模板對所述過濾數據進行提取處理，得到提取數據；

所述數據轉換模塊用于根據所述轉換子模板對所述提取數據進行數據轉換處理，得到轉換數據。

8.如權利要求5所述的大數據清洗裝置，其特征在于，所述過濾處理、提取處理和數據轉換處理的過程均使用多線程技術進行數據清洗。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括存儲的計算機程序；其中，所述計算機程序在運行時控制所述計算機可讀存儲介質所在的設備執行如權利要求1～4任一項所述的大數據清洗方法。

10.一種終端設備，其特征在于，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執行的計算機程序，所述處理器在執行所述計算機程序時實現如權利要求1～4任一項所述的大數據清洗方法。