[發明專利]數據的清洗方法、裝置、系統及計算機可讀存儲介質有效

申請號：	202110629498.8	申請日：	2021-06-04
公開（公告）號：	CN113377752B	公開（公告）日：	2023-03-14
發明（設計）人：	唐積益;蔡利芹;侯騰蛟	申請（專利權）人：	深圳力維智聯技術有限公司;南京中興力維軟件有限公司
主分類號：	G06F16/215	分類號：	G06F16/215
代理公司：	深圳市恒程創新知識產權代理有限公司 44542	代理人：	孔德丞
地址：	518061 廣東省深圳市南***	國省代碼：	廣東;44
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	數據清洗方法裝置系統計算機可讀存儲介質
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本申請公開了一種數據的清洗方法、裝置、系統及計算機可讀存儲介質，該方法包括：接收到終端設備發送的原始事件數據后，確定原始事件數據有效性；若確定原始事件數據有效，則基于原始事件數據生成對應的數據清洗請求；根據數據清洗請求中的參數信息確定對應的待執行清洗腳本，并基于待執行清洗腳本對原始事件數據進行數據清洗。本申請通過待執行清洗腳本對原始事件數據進行數據清洗，即數據清洗的過程中，在需要新增或者修改數據清洗業務邏輯時，用戶可以在待執行清洗腳本中新增或者修改對應的數據清洗函數，而不用新增或者修改整個模塊，提高了數據清洗的可配置性。

技術領域

本申請涉及物聯網領域，尤其涉及一種數據的清洗方法、裝置、系統及計算機可讀存儲介質。

背景技術

目前在智慧城市項目建設中，連接平臺負責接入和解析來自感知設備上報的事件數據，如人臉、人體、機動車、非機動車、門禁、物聯、告警等事件數據，上述的事件數據稱之為“全量數據”。全量數據一般包含結構化信息，比如設備編號、設備名稱、遙測數據、事件發生時間等，也包含一些非結構化信息，如人臉事件中的人臉圖片數據。

目前連接平臺需要對事件數據進行數據清洗時，具體過程如下：連接平臺首先解析原始協議數據并轉換成JSON格式的原始事件數據，判斷原始事件數據的有效性，根據預設的清洗函數對原始事件數據進行二次處理，輸出二次處理結果。其中，數據清洗的關鍵步驟在于清洗函數，清洗函數一般都是通過編程內置在數據清洗服務端的二進制代碼中，從而使得數據清洗的業務邏輯可配置性不好，如若要新增設備數據的類型，或者修改業務清洗的邏輯，就需要修改二進制代碼并構建數據清洗服務端的二進制代碼模塊。

發明內容

本申請的主要目的在于提供一種數據的清洗方法、裝置、系統及計算機可讀存儲介質，旨在提高數據清洗的可配置性。

為實現上述目的，本申請提供一種數據的清洗方法，所述數據的清洗方法包括以下步驟：

接收到終端設備發送的原始事件數據后，確定所述原始事件數據有效性；

若確定所述原始事件數據有效，則基于所述原始事件數據生成對應的數據清洗請求；

根據所述數據清洗請求中的參數信息確定對應的待執行清洗腳本，并基于所述待執行清洗腳本對所述原始事件數據進行數據清洗。

可選地，所述若確定所述原始事件數據有效，則基于所述原始事件數據生成對應的數據清洗請求的步驟之后，還包括：

根據所述參數信息中的設備標識信息，確定所述數據清洗請求對應的消息隊列分區；

將所述數據清洗請求插入到所述消息隊列分區中最先執行的空閑位置，并根據從前到后的順序依次執行所述消息隊列分區中的數據清洗請求。

可選地，所述基于所述待執行清洗腳本對所述原始事件數據進行數據清洗的步驟包括：

創建所述待執行清洗腳本的上下文運行對象，并將所述原始事件數據傳入至所述上下文運行對象中；

通過超時參數以及傳入所述原始事件數據后的上下文運行對象，異步執行所述待執行清洗腳本，對所述原始事件數據進行數據清洗。