[發(fā)明專利]一種基于服務器節(jié)點硬件資源密度的數(shù)據(jù)分片方法

有效

• 申請?zhí)枺?/td>: 202210312982.2
• 申請日: 2022-03-28
• 公開（公告）號: CN114629908B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設計）人: 魯萍;王剛;陳偉;楊運平;黃滔;金路;葉金韜
• 申請（專利權）人: 浙江邦盛科技股份有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/1074;H04L67/1097;H04L12/42;H04L41/0894
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

1.一種基于服務器節(jié)點硬件資源密度的數(shù)據(jù)分片方法，其特征在于，該方法包括以下步驟：

(1)獲取服務器節(jié)點的CPU核心數(shù)、內存大小以及網(wǎng)絡帶寬，根據(jù)這三個參數(shù)分別乘以權重并求和得到服務器節(jié)點硬件資源密度；

(2)將整體服務器全局數(shù)據(jù)分為P個分片，并形成一個散列環(huán)，最后一個分片和第一個分片首位相連，第一個分片標記為分片0，最后一個分片標記為分片P-1；

(3)將服務器節(jié)點添加到散列環(huán)上，每個節(jié)點負責散列環(huán)上一段弧的數(shù)據(jù)分片，這段弧從當前服務器節(jié)點開始，然后逆時針走到第一個服務器節(jié)點結束。

(4)當服務器集群中新添加服務器節(jié)點S_new時，將S_new插入到散列環(huán)最長的一段弧中，進行數(shù)據(jù)分片變更，

(5)當服務器集群中有服務器節(jié)點S離開時，尋找S在散列環(huán)上順時針和逆時針的第一個節(jié)點，進行逆時針和順時針延長，數(shù)據(jù)分片進行變更。

2.根據(jù)權利要求1所述的一種基于服務器節(jié)點硬件資源密度的數(shù)據(jù)分片方法，其特征在于，步驟(3)中，數(shù)據(jù)首先計算其散列值，然后對分片數(shù)P取余，得到數(shù)據(jù)所處的分片，并獲得該分片所在散列環(huán)上的弧，從而確定存儲該數(shù)據(jù)的服務器節(jié)點。

3.根據(jù)權利要求1所述的一種基于服務器節(jié)點硬件資源密度的數(shù)據(jù)分片方法，其特征在于，步驟(4)中服務器集群中新添加服務器節(jié)點S_new時，數(shù)據(jù)分片變更的具體步驟如下：

(4.1)若集群中沒有服務器節(jié)點，則S_new擁有全部的數(shù)據(jù)分片，并且S_new位于散列環(huán)的起始位置；否則，選取散列環(huán)上最長的一段弧，獲取存儲該弧的數(shù)據(jù)分片對應的服務器節(jié)點，記為S_old；

(4.2)計算S_new和S_old的服務器節(jié)點硬件資源密度，分別記為d_new和d_old；

(4.3)將該弧拆分成兩段，S_new負責的弧對應的分片數(shù)p_new和S_old負責的弧對應的分片數(shù)p_old滿足將S_new插入到散列環(huán)最長的一段弧中，而S_old在散列環(huán)上的位置保持不變。

4.根據(jù)權利要求1所述的一種基于服務器節(jié)點硬件資源密度的數(shù)據(jù)分片方法，其特征在于，步驟(5)中，服務器集群中有服務器節(jié)點S離開時，數(shù)據(jù)分片進行變更的具體步驟如下：

(5.1)若節(jié)點S離開后，集群只剩余1臺服務器，那么剩余的1臺服務器擁有全部的數(shù)據(jù)分片，并且其位于散列環(huán)的起始位置；

(5.2)若節(jié)點S離開后，集群沒有服務器，則散列環(huán)為空，即散列環(huán)上不包含任何服務器節(jié)點；

(5.3)否則，尋找S在散列環(huán)上順時針和逆時針的第一個節(jié)點，分別記作S₁和S₂；計算S₁和S₂的服務器節(jié)點硬件資源密度，分別記為d₁和d₂；

(5.4)S₁負責的弧向逆時針延長，S₂負責的弧向順時針延長，延長長度對應的分片數(shù)分別為p₁和p₂，并滿足其它服務器節(jié)點在環(huán)上的位置保持不變。