[發明專利]一種網絡數據的清洗方法、系統及相關裝置

在審

• 申請號: 202011023278.2
• 申請日: 2020-09-25
• 公開（公告）號: CN112181961A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 范顏婷;范淵
• 申請（專利權）人: 杭州安恒信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F9/445;G06F9/54
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 高勇

1.一種網絡數據的清洗方法，其特征在于，包括：

利用消息隊列接收所述網絡數據；

對所述網絡數據進行標準化清洗配置；

基于所述標準化清洗配置對所述網絡數據進行數據清洗。

2.根據權利要求1所述的清洗方法，其特征在于，利用消息隊列接收所述網絡數據包括：

接收對端設備發送的第一清洗指令，并利用消息隊列接收所述第一清洗指令對應的網絡數據；

或，

利用cron表達式向所述對端設備發送第二清洗指令，并利用消息隊列接收所述對端設備對所述第二清洗指令的響應數據，所述響應數據包含所述網絡數據。

3.根據權利要求1所述的清洗方法，其特征在于，對所述網絡數據進行標準化清洗配置包括：

確定所述網絡數據的數據類型；

根據所述數據類型確定對應清洗標準；

根據所述清洗標準確定對應的標準化清洗配置參數，并將所述標準化清洗配置參數添加至所述網絡數據。

4.根據權利要求3所述的清洗方法，其特征在于，基于所述標準化清洗配置對所述網絡數據進行數據清洗包括：

調用所述標準化清洗配置參數的配置文件；

執行所述配置文件對所述網絡數據進行數據清洗。

5.根據權利要求4所述的清洗方法，其特征在于，還包括：

周期性判斷是否存在所述配置文件的更新信息；

若是，更新所述配置文件，并利用更新后的配置文件對所述網絡數據進行數據清洗。

6.根據權利要求1所述的清洗方法，其特征在于，若所述標準化清洗配置包括標準數據格式和標準數據樣式，基于所述標準化清洗配置對所述網絡數據進行數據清洗包括：

判斷所述網絡數據是否符合所述標準數據格式；

若否，將所述網絡數據標記丟棄原因并存儲至問題數據庫；

若是，判斷所述網絡數據是否為所述標準數據樣式；

若所述網絡數據不為標準數據，對所述網絡數據進行字段擴容，得到標準數據，并輸出至結果庫；

若所述網絡數據為標準數據，則直接輸出至所述結果庫。

7.根據權利要求1所述的清洗方法，其特征在于，基于所述標準化清洗配置對所述網絡數據進行數據清洗后，還包括：

獲取所述標準化清洗配置下所述網絡數據的數據轉化率；

根據所述數據轉化率調整所述標準化清洗配置。

8.一種網絡數據的清洗系統，其特征在于，包括：

接收模塊，用于利用消息隊列接收所述網絡數據；

標準化配置模塊，用于對所述網絡數據進行標準化清洗配置；

清洗模塊，用于基于所述標準化清洗配置對所述網絡數據進行數據清洗。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-7任一項所述的網絡數據的清洗方法的步驟。

10.一種電子設備，其特征在于，包括存儲器和處理器，所述存儲器中存有計算機程序，所述處理器調用所述存儲器中的計算機程序時實現如權利要求1-7任一項所述的網絡數據的清洗方法的步驟。