[發明專利]一種分布式數據存儲的方法及相關裝置

在審

• 申請號: 201811554204.4
• 申請日: 2018-12-18
• 公開（公告）號: CN109388351A
• 公開（公告）日: 2019-02-26
• 發明（設計）人: 丁磊
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種分布式數據存儲的方法，其特征在于，包括：

獲取存儲集群數據，其中，所述存儲集群數據包括N個存儲節點的位置、所述N個存儲節點的進程和所述N個存儲節點的負載量，N為正整數；

對待存儲數據進行處理以得到M個數據塊，其中，M為不大于N的正整數；

在所述存儲集群數據中查找與所述M個數據塊匹配的M個存儲節點的位置，其中，所述M個數據塊與所述M個存儲節點的位置一一對應，所述M個存儲節點屬于所述N個存儲節點；

根據所述M個存儲節點的位置將所述M個數據塊存儲在所述M個存儲節點中，其中，所述M個數據塊與所述M個存儲節點一一對應。

2.根據權利要求1所述的方法，其特征在于，所述獲取存儲集群數據包括：

向元數據服務器發送獲取存儲集群數據指令，所述獲取存儲集群數據指令用于指示所述元數據服務器發送所述存儲集群數據；

接收所述元數據服務器發送的所述存儲集群數據；

或者，從緩存器中獲取所述元數據服務器預先發送并存儲在所述緩存器中的所述存儲集群數據。

3.根據權利要求2所述的方法，其特征在于，所述在所述存儲集群數據中查找與所述M個數據塊匹配的M個存儲節點的位置包括：

獲取所述M個數據塊的M個鍵值信息，其中，所述M個數據塊與所述M個鍵值信息一一對應；

通過哈希算法對所述M個鍵值信息進行處理，以得到與所述M個鍵值信息一一對應的M個哈希值；

在所述存儲集群數據中查找與所述M個哈希值匹配的所述M個存儲節點的位置，其中，所述M個哈希值與所述M個存儲節點的位置一一對應。

4.根據權利要求3所述的方法，其特征在于，所述存儲集群數據還包括與所述N個存儲節點對應的至少一個備份存儲節點，所述在所述存儲集群數據中查找與所述M個數據塊匹配的M個存儲節點的位置之后，根據所述M個存儲節點的位置將所述M個數據塊存儲在所述M個存儲節點中之前，包括以下步驟：

S1：在所述存儲集群數據中查找所述M個存儲節點中第i個存儲節點的進程，其中，i是初始值為1的正整數；

S2：當所述M個存儲節點中第i個存儲節點的進程為掛掉狀態時，執行步驟S3，當所述M個存儲節點中第i個存儲節點的進程為工作狀態時，執行步驟S4；

S3：在所述存儲集群數據中查找與所述M個存儲節點中第i個存儲節點對應的備份存儲節點，將與所述M個存儲節點中第i個存儲節點對應的備份存儲節點的位置作為所述M個存儲節點中第i個存儲節點的位置；

S4：將i+1的值賦給i；

S5：當i不大于M時，執行步驟S1。

5.根據權利要求1所述的方法，所述根據所述M個存儲節點的位置將所述M個數據塊存儲在所述M個存儲節點中包括：

向數據服務器發送存儲請求消息，所述存儲請求消息攜帶所述M個存儲節點的位置，所述存儲請求消息用于指示所述數據服務器根據所述M個存儲節點的位置查找所述M個存儲節點；

通過所述數據服務器將所述M個數據塊存儲在所述M個存儲節點中。

6.根據權利要求5所述的方法，其特征在于，還包括：

在所述存儲集群數據中查詢所述N個存儲節點的負載量；

當所述N個存儲節點的負載量都超過最大負載量閾值時，向所述數據服務器發送擴容指令，所述擴容指令用于指示所述數據服務器增加X個存儲節點并分配所述N個存儲節點中的數據到所述X個存儲節點中使得N+X個存儲節點中的數據平均分布，其中，X為正整數；

獲取所述N+X個存儲節點的位置、所述N+X個存儲節點的進程和所述N+X個存儲節點的負載量；

向所述元數據服務器發送第一更新指令，所述第一更新指令攜帶所述N+X個存儲節點的位置、所述N+X個存儲節點的進程和所述N+X個存儲節點的負載量，所述第一更新指令用于指所述元數據服務器將所述N個存儲節點的位置、所述N個存儲節點的進程和所述N個存儲節點的負載量替換成所述N+X個存儲節點的位置、所述N+X個存儲節點的進程和所述N+X個存儲節點的負載量。