[發明專利]數據入庫處理方法、裝置、計算機設備和存儲介質

有效

• 申請號: 202011159500.1
• 申請日: 2020-10-27
• 公開（公告）號: CN112000703B
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 潘星;謝凌;宋志峰
• 申請（專利權）人: 港勝技術服務（深圳）有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/25
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 唐彩琴

本申請涉及數據庫技術領域，提供了一種數據入庫處理方法、裝置、計算機設備和存儲介質。該方法包括：通過接收待入庫數據，并將待入庫數據發送給目標窗口進行處理，得到目標存儲數據，將該目標存儲數據存儲至數據庫，其中，目標窗口的時間參數包括等待時間和窗口時間，該等待時間和窗口時間是根據至少一個歷史窗口的處理耗時和處理數據量得到，使得在進行待入庫數據接收和處理時，能夠根據歷史窗口的處理情況及時調整處理策略，避免系統資源浪費，提高了數據入庫處理的效率。

技術領域

本申請涉及數據庫技術領域，特別是涉及一種數據入庫處理方法、裝置、計算機設備和存儲介質。

背景技術

數據庫在進行數據入庫時，通常會有大量的數據通過消息隊列發到數據庫的存儲上。數據庫對數據的需求具有實時性，需要在很短的數據延遲就可以在數據庫查詢到已入庫數據。

目前技術中，通常采用流式處理入庫技術處理消息隊列的新增數據，將獲得的數據準時地寫入數據庫的存儲中。當增量數據的速率變動較大時，通常會導致資源浪費或者資源不足，影響數據入庫處理的效率。

發明內容

基于此，有必要針對目前技術中存在的數據入庫處理效率低的技術問題，提供一種數據入庫處理方法、裝置、計算機設備和存儲介質。

一種數據入庫處理方法，所述方法包括：

根據至少一個歷史窗口對接收到的數據的處理耗時，得到目標窗口的等待時間；以及根據所述至少一個歷史窗口的處理數據量，得到所述目標窗口的窗口時間；根據所述等待時間和所述窗口時間，生成所述目標窗口；所述等待時間表征上一個窗口結束至所述目標窗口產生的時間間隔，所述窗口時間表征所述目標窗口獲取到的數據的時間區間；

接收待入庫數據；

將所述待入庫數據發送給目標窗口進行處理，獲取所述目標窗口處理后的目標存儲數據；將所述目標存儲數據存儲至數據庫。

在其中一個實施例中，所述根據至少一個歷史窗口對接收到的數據的處理耗時，得到目標窗口的等待時間；以及根據至少一個歷史窗口的處理數據量，得到所述目標窗口的窗口時間，包括：

根據所述至少一個歷史窗口的處理耗時與耗時閾值的對比結果，確定所述等待時間；

根據所述至少一個歷史窗口的處理數據量與數據量閾值的對比結果，確定所述窗口時間。

在其中一個實施例中，所述根據所述至少一個歷史窗口的處理耗時與耗時閾值的對比結果，確定所述等待時間，包括：

獲取所述至少一個歷史窗口的等待時間；

若所述至少一個歷史窗口的處理耗時的加權耗時小于或等于所述耗時閾值，確定大于所述至少一個歷史窗口的參照等待時間的時間值，作為所述等待時間；

若所述至少一個歷史窗口的處理耗時的加權耗時大于所述耗時閾值，確定小于或等于所述至少一個歷史窗口的參照等待時間的時間值，作為所述等待時間。

在其中一個實施例中，所述根據所述至少一個歷史窗口的處理數據量與數據量閾值的對比結果，確定所述窗口時間，包括：

獲取所述目標窗口的初始窗口時間；

若所述至少一個歷史窗口的處理數據量大于所述數據量閾值，增大所述初始窗口時間，得到所述窗口時間。

在其中一個實施例中，所述接收待入庫數據，包括：

根據所述窗口時間對應的時間區間內獲取到的數據，得到所述待入庫數據；

當所述目標窗口的上一個窗口處理結束，且所述等待時間經過，接收所述待入庫數據。