[發明專利]數據存儲方法、系統、終端設備以及計算機存儲介質

在審

• 申請號: 202111178166.9
• 申請日: 2021-10-09
• 公開（公告）號: CN113806337A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 張林;韓海燕;黎君;楊東方
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/25
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 付海萍

1.一種數據存儲方法，其特征在于，所述數據存儲方法應用于面向高并發數據的數據存儲系統，所述數據存儲方法包括以下步驟：

監測高并發數據的數據信息和所述高并發數據所屬的數據類型；

根據所述數據信息和所述數據類型對應的本地數據消費隊列的數據消費狀態，針對所述本地數據消費隊列進行動態調整；

調用經過動態調整后的所述本地數據消費隊列處理所述高并發數據，并將處理后的高并發數據存儲至對應的數據庫中。

2.如權利要求1所述的數據存儲方法，其特征在于，所述數據信息為：所述高并發數據的數據量，所述數據消費狀態為：所述本地數據消費隊列的數據消費速度；

所述根據所述數據信息和所述數據類型對應的本地數據消費隊列的數據消費狀態，針對所述本地數據消費隊列進行動態調整的步驟，包括：

獲取所述數據類型對應的本地數據消費隊列的數據消費速度；

檢測所述數據量和所述數據消費速度是否達到預設的消費隊列增加條件，其中，所述消費隊列增加條件為：所述數據消費速度不滿足消費所述數據量的高并發數據；

若檢測達到所述消費隊列增加條件，則動態增加所述本地數據消費隊列的數量；和/或者，

檢測所述數據量和所述數據消費速度是否達到預設的消費隊列回收條件，其中，所述消費隊列縮減條件為：所述數據消費速度消費所述數據量的高并發數據存在盈余；

若檢測達到所述消費隊列回收條件，則動態縮減所述本地數據消費隊列的數量。

3.如權利要求2所述的數據存儲方法，其特征在于，所述本地數據消費隊列包括：主數據消費隊列和從數據消費隊列，其中，單個所述主數據消費隊列同時由一個或者多個從數據消費隊列進行訂閱；

所述動態增加所述本地數據消費隊列的數量的步驟，包括：

動態增加所述從數據消費隊列的數量，并檢測所述從數據消費隊列的數量是否達到預設極大值，其中，所述預設極大值為：同時訂閱單個所述主數據消費隊列的所述從數據消費隊列的最大數量；

若是，則增加所述主數據消費隊列并繼續動態增加所述從數據消費隊列的數量；

所述動態縮減所述本地數據消費隊列的數量的步驟，包括：

在多個所述從數據消費隊列中，確定當前待處理消息數據最少的目標隊列；

轉移所述目標隊列中全部的待處理消息數據，并回收所述目標隊列以縮減所述從數據消費隊列的數量；

當所述從數據消費隊列的數量縮減為零，且所述從數據消費隊列訂閱的目標主數據消費隊列存在相同的主數據消費隊列時，回收所述目標主數據消費隊列以縮減所述主數據消費隊列的數量。

4.如權利要求2所述的數據存儲方法，其特征在于，所述動態增加所述本地數據消費隊列的數量的步驟，還包括：

獲取實時內存數據，并在所述實時內存數據達到預設的消費隊列增加限制條件時，停止增加所述本地數據消費隊列的數量。

5.如權利要求1所述的數據存儲方法，其特征在于，所述調用經過動態調整后的所述數據消費隊列處理所述高并發數據的步驟，包括：

調用經過動態調整后的所述本地數據消費隊列；

按照預設哈希算法從所述本地數據消費隊列中確定處理所述高并發數據的目標數據消費隊列；

按照預設保證調度算法令所述目標數據消費隊列公平的針對所述高并發數據進行處理。

6.如權利要求1所述的數據存儲方法，其特征在于，所述將處理后的高并發數據存儲至對應的數據庫中的步驟，包括：

獲取處理后的高并發數據的數據編號；

按照所述數據編號所處的編號范圍，將所述處理后的高并發數據路由至所述編號范圍對應的數據庫中進行存儲，其中，不同的所述編號范圍分別對應一個數據庫，且各所述數據庫中保存有相同的數據表。

7.如權利要求1至6任一項所述的數據存儲方法，其特征在于，所述數據類型包括：新建、刪除、查詢和更新，所述方法還包括：

在監測到所述高并發數據所屬的數據類型為新建時，為所述高并發數據計算新的數據編號；或者，

在監測到所述高并發數據所屬的數據類型為刪除、查詢或者更新時，為所述高并發數據確定原有的數據編號。