[發明專利]一種數據存儲方法及數據存儲系統

在審

• 申請號: 201910569784.2
• 申請日: 2019-06-27
• 公開（公告）號: CN110275681A
• 公開（公告）日: 2019-09-24
• 發明（設計）人: 黃銘毅;陳江楓;張潮宇
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

1.一種數據存儲方法，其特征在于，應用于數據存儲系統，所述數據存儲系統包括調度集群和執行集群，所述調度集群包括至少一個調度節點，所述執行集群包括至少一個執行節點，所述至少一個執行節點中的每個執行節點均采用單機存儲引擎，所述方法包括：

所述調度集群中的目標調度節點獲得客戶端發送的存儲請求，其中，所述存儲請求包括請求存儲的數據的元數據；

所述目標調度節點按照預設存儲策略，根據所述元數據從所述執行集群中確定調度的目標執行節點，并將所述存儲請求調度給所述目標執行節點；

所述目標執行節點使用對應的單機存儲引擎執行所述存儲請求。

2.如權利要求1所述的方法，其特征在于，所述目標執行節點使用對應的單機存儲引擎執行所述存儲請求，包括：

所述目標執行節點根據對應的單機存儲引擎對所述存儲請求進行適配處理，以使得與所述目標執行節點對應的單機存儲引擎執行所述存儲請求。

3.如權利要求2所述的方法，其特征在于，若與所述目標執行節點對應的單機存儲引擎為B+樹的存儲引擎，則所述目標執行節點對所述存儲請求進行適配處理，包括：

當所述目標執行節點確定所述請求存儲的數據量大于預定閾值時，則將所述請求存儲的數據劃分為均小于所述預定閾值數據的多個數據塊。

4.如權利要求2所述的方法，其特征在于，若與所述目標執行節點對應的單機存儲引擎為LSM樹的存儲引擎，則所述目標執行節點對所述存儲請求進行適配處理，包括：

所述目標執行節點確定接收的多個請求存儲數據的存儲請求的請求順序，并按照所述請求順序對多個存儲請求以隊列排列；

所述目標執行節點將所述隊列中的預設個數的存儲請求對應請求的數據，采用壓縮重排的方式進行批量處理。

5.如權利要求2所述的方法，其特征在于，若與所述目標執行節點對應的單機存儲引擎為基于編程語言機制的存儲引擎，則所述目標執行節點對所述存儲請求進行適配處理，包括：

所述目標執行節點對編程語言的字典類型進行封裝，以使得基于編程語言機制的存儲引擎支持內存存儲；

所述目標執行節點將所述存儲請求所請求存儲的數據在基于編程語言機制的存儲引擎中以內存存儲的方式進行存儲。

6.如權利要求2所述的方法，其特征在于，若與所述目標執行節點對應的單機存儲引擎基于編程語言機制的存儲引擎或內存存儲引擎，所述基于編程語言機制的存儲引擎支持內存存儲，則所述目標執行節點對所述存儲請求進行適配處理，包括：

所述目標執行節點將所述存儲請求所請求存儲的數據以內存存儲的方式進行存儲；或者，

所述目標執行節點獲得用于指示持久存儲的指示，并根據所述指示將所述存儲請求所請求存儲的數據按照預設的持久化存儲機制進行持久性存儲。

7.如權利要求1-6任一所述的方法，其特征在于，所述目標執行節點使用對應的單機存儲引擎執行所述存儲請求之后，所述方法還包括：

所述目標執行節點將執行結果發送給所述調度集群；

所述調度集群將所述執行結果發送給所述客戶端。

8.一種數據存儲系統，其特征在于，所述系統包括調度集群和執行集群，其中：

所述調度集群，包括至少一個調度節點，所述至少一個調度節點中的目標調度節點用于：獲得客戶端發送的存儲請求，其中，所述存儲請求包括請求存儲的數據的元數據；并按照預設存儲策略，根據所述元數據從所述執行集群中確定調度的目標執行節點；以及將所述存儲請求調度給所述目標執行節點；

所述執行集群，包括至少一個執行節點，所述至少一個執行節點中的每個執行節點均采用單機存儲引擎，其中，所述至少一個執行節點中的所述目標執行節點用于：獲得存儲請求，并使用對應的單機存儲引擎執行所述存儲請求。

9.如權利要求8所述的數據存儲系統，其特征在于，所述目標執行節點還用于：

根據對應的單機存儲引擎對所述存儲請求進行適配處理，以使與所述目標執行節點對應的單機存儲引擎執行所述存儲請求。

10.如權利要求8或9所述的數據存儲系統，其特征在于，所述目標執行節點還用于將執行結果發送給所述調度集群，以使所述調度集群將所述執行結果發送給所述客戶端。