[發明專利]數據處理方法、裝置、系統與計算機可讀存儲介質

在審

• 申請號: 202010957769.8
• 申請日: 2020-09-11
• 公開（公告）號: CN112100414A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 黃旭輝;王曉紅;唐積益;侯騰蛟
• 申請（專利權）人: 深圳力維智聯技術有限公司;南京中興力維軟件有限公司
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/957;G06F16/958;G16Y10/35;G16Y40/00
• 代理公司: 深圳市恒程創新知識產權代理有限公司 44542
• 代理人: 劉冰

本發明公開了一種數據處理方法，包括：若通過接入服務線程接收到數據請求，則確定所述數據請求是否有效；若有效，則確定所述數據請求在第一主題對應的目標緩沖分區，并通過所述接入服務線程將所述數據請求寫入所述目標緩沖分區進行緩存；若通過解析服務線程在所述目標緩沖分區輪詢檢測到所述數據請求，則獲取所述數據請求，并對所述數據請求進行解析處理，以得到對應的解析結果；通過所述解析服務線程將所述解析結果寫入所述數據請求在第二主題對應的目標存儲分區。本發明還公開了一種數據處理裝置、系統和計算機可讀存儲介質。本發明將數據請求寫入緩沖分區，并輪詢對數據請求進行解析處理，以確保數據請求不會堆積，且能及時被解析處理。

技術領域

本發明涉及物聯網數據處理技術領域，尤其涉及數據處理方法、裝置、系統與計算機可讀存儲介質。

背景技術

隨著信息技術的不斷發展和知識經濟的進一步提升，智慧社區、智慧城市等項目應運而生，而連接平臺是智慧社區、智慧城市項目的重要樞紐，通過連接平臺可實現管理與服務一體化。但是，在智慧社區、智慧城市項目的建設中，人臉抓拍機、車輛道閘、門禁、水電氣表等眾多設備，每天都能產生大量的數據，因此，連接平臺每天都要接入海量的數據，而且數據接入的時間存在著潮汐現象，即在某個時段會有大量的數據接入，所以，當接入海量數據時，連接平臺要確保數據不會堆積，以此來保證連接平臺的穩定運行。

現有技術中的數據處理方式通常是一接收數據請求就直接進行解析，再將解析的結果輸出，其中，數據請求的解析過程與業務強相關，而且相對比較耗時。在高并發情況下，由于短時間內接收的數據請求比較多，而且對數據請求進行解析處理的時間比較長，使得連接平臺對接收到的數據請求來不及解析處理，導致數據請求不斷堆積，最終造成連接平臺工作異常甚至崩潰。

發明內容

本發明的主要目的在于提出一種數據處理方法、裝置、系統與計算機可讀存儲介質，旨在實現高并發接入的情況下，數據請求不會堆積，且能及時被解析處理的目的。

為實現上述目的，本發明提供一種數據處理方法，所述數據處理方法包括如下步驟：

若通過接入服務線程接收到數據請求，則確定所述數據請求是否有效；

若有效，則確定所述數據請求在第一主題對應的目標緩沖分區，并通過所述接入服務線程將所述數據請求寫入所述目標緩沖分區進行緩存；

若通過解析服務線程在所述目標緩沖分區輪詢檢測到所述數據請求，則獲取所述數據請求，并對所述數據請求進行解析處理，以得到對應的解析結果；

通過所述解析服務線程將所述解析結果寫入所述數據請求在第二主題對應的目標存儲分區。

優選地，所述若通過接入服務線程接收到數據請求，則確定所述數據請求是否有效的步驟之前，所述數據處理方法還包括：

確定所述接入服務線程的最大接收速率，并確定所述解析服務線程的平均解析速率；

基于所述最大接收速率和所述平均解析速率，確定所述第一主題對應的第一分區數以及所述第二主題對應的第二分區數；

基于所述第一分區數，對所述第一主題進行分區，以得到對應的緩沖分區，并基于所述第二分區數，對所述第二主題進行分區，以得到對應的存儲分區。

優選地，所述基于所述最大接收速率和所述平均解析速率，確定所述第一主題對應的第一分區數以及所述第二主題對應的第二分區數的步驟包括：

確定所述最大接收速率與所述平均解析速率的比值，并基于所述比值，確定所述第一主題對應的最小第一分區數，以及所述第二主題對應的最小第二分區數；

基于所述最小第一分區數，確定所述第一主題的第一分區數，并基于所述最小第二分區數，確定所述第二主題對應的第二分區數。