[發明專利]一種網絡數據的清洗方法、系統及相關裝置

在審

• 申請號: 202011023278.2
• 申請日: 2020-09-25
• 公開（公告）號: CN112181961A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 范顏婷;范淵
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F9/445;G06F9/54
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 高勇

本申請提供一種網絡數據的清洗方法，包括：利用消息隊列接收所述網絡數據；對所述網絡數據進行標準化清洗配置；基于所述標準化清洗配置對所述網絡數據進行數據清洗。本申請通過配置網絡數據的標準化清洗配置，先利用消息隊列接收不限數據類型的網絡數據，并統一采用標準化的數據清洗規則對消息隊列中的網絡數據逐一清洗，由于采用標準化的清洗規則，無需針對每個網絡數據配置相應的清洗規則，還可以對不同結構的網絡安全數據進行標準化輸出，不僅提高了數據清洗效率，還實現了清洗后數據的標準化，有利于實現清洗后的數據的直接利用。本申請還提供一種網絡數據的清洗系統、計算機可讀存儲介質和電子設備，具有上述有益效果。

技術領域

本申請涉及數據處理領域，特別涉及一種網絡數據的清洗方法、系統及相關裝置。

背景技術

相關技術中，針對數據清洗過程，都需要獲取數據，并針對數據進行清洗前的數據分析，以確定所采用的清洗規則。由于不同的數據所對應的清洗規則存在差異，若同時對海量數據進行數據清洗，則在清洗過程中需逐一判斷對應的清洗規則，以適應海量數據清洗要求，但這明顯降低了數據清洗效率，不利于數據清洗的高效進行。

發明內容

本申請的目的是提供一種網絡數據的清洗方法、系統、計算機可讀存儲介質和電子設備，能夠有效提高數據清洗效率。

為解決上述技術問題，本申請提供一種網絡數據的清洗方法，具體技術方案如下：

利用消息隊列接收所述網絡數據；

對所述網絡數據進行標準化清洗配置；

基于所述標準化清洗配置對所述網絡數據進行數據清洗。

可選的，利用消息隊列接收所述網絡數據包括：

接收對端設備發送的第一清洗指令，并利用消息隊列接收所述第一清洗指令對應的網絡數據；

或，

利用cron表達式向所述對端設備發送第二清洗指令，并利用消息隊列接收所述對端設備對所述第二清洗指令的響應數據，所述響應數據包含所述網絡數據。

可選的，對所述網絡數據進行標準化清洗配置包括：

確定所述網絡數據的數據類型；

根據所述數據類型確定對應清洗標準；

根據所述清洗標準確定對應的標準化清洗配置參數，并將所述標準化清洗配置參數添加至所述網絡數據。

可選的，基于所述標準化清洗配置對所述網絡數據進行數據清洗包括：

調用所述標準化清洗配置參數的配置文件；

執行所述配置文件對所述網絡數據進行數據清洗。

可選的，還包括：

周期性判斷是否存在所述配置文件的更新信息；

若是，更新所述配置文件，并利用更新后的配置文件對所述網絡數據進行數據清洗。

可選的，若所述標準化清洗配置包括標準數據格式和標準數據樣式，基于所述標準化清洗配置對所述網絡數據進行數據清洗包括：

判斷所述網絡數據是否符合所述標準數據格式；

若否，將所述網絡數據標記丟棄原因并存儲至問題數據庫；

若是，判斷所述網絡數據是否為所述標準數據樣式；

若所述網絡數據不為標準數據，對所述網絡數據進行字段擴容，得到標準數據，并輸出至結果庫；

若所述網絡數據為標準數據，則直接輸出至所述結果庫。