[發(fā)明專利]一種基于服務器節(jié)點硬件資源密度的數(shù)據(jù)分片方法

有效

• 申請?zhí)枺?/td>: 202210312982.2
• 申請日: 2022-03-28
• 公開（公告）號: CN114629908B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設計）人: 魯萍;王剛;陳偉;楊運平;黃滔;金路;葉金韜
• 申請（專利權）人: 浙江邦盛科技股份有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/1074;H04L67/1097;H04L12/42;H04L41/0894
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 劉靜

本發(fā)明公開了一種基于服務器節(jié)點硬件資源密度的數(shù)據(jù)分片方法。該方法主要分為五個部分：服務器節(jié)點硬件資源密度的定義、散列環(huán)的定義、服務器節(jié)點負責的數(shù)據(jù)分片規(guī)則、服務器節(jié)點加入集群后的數(shù)據(jù)分片變更與服務器節(jié)點離開集群后的數(shù)據(jù)分片變更。該方法實現(xiàn)了相對平均的數(shù)據(jù)分片，提高集群橫向擴展能力，并考慮到服務器節(jié)點硬件資源的影響，使得硬件資源多的節(jié)點分配到更多的數(shù)據(jù)分片，同時硬件資源少的節(jié)點分配到較少的數(shù)據(jù)分片，充分利用集群內服務器的硬件資源。此外，該方法在集群內服務器節(jié)點增加或刪除時，調整數(shù)據(jù)分片時傳輸數(shù)據(jù)量較小，能更快速的調整數(shù)據(jù)分片的分布。

技術領域

本發(fā)明涉及風控、反欺詐等需要進行高頻實時信息處理和存儲的金融大數(shù)據(jù)領域，涉及一種基于服務器節(jié)點硬件資源密度的數(shù)據(jù)分片方法。

背景技術

在風控、反欺詐等需要進行高頻實時信息處理和存儲的金融大數(shù)據(jù)領域，存在大量金融指標數(shù)據(jù)存儲的需求，而單個服務器節(jié)點無法存儲和處理金融大數(shù)據(jù)場景下的龐大數(shù)據(jù)量，因此需要使用多個服務器節(jié)點存儲數(shù)據(jù)。多個不同的服務器節(jié)點會構建成服務器集群。完整的數(shù)據(jù)會被分布到集群內不同的服務器節(jié)點上，同時數(shù)據(jù)的讀寫負載會被分攤到不同的服務器節(jié)點上，這就是數(shù)據(jù)分片。

數(shù)據(jù)分片可用于實現(xiàn)服務器集群的橫向擴展，即添加服務器節(jié)點后，集群的性能也可以得到一定比例的提升。數(shù)據(jù)分片的目標在于將完整的數(shù)據(jù)平均分布到不同的服務器節(jié)點上，每個服務器節(jié)點能夠公平地分配到數(shù)據(jù)以及對應的數(shù)據(jù)訪問負載，從而提供良好的橫向擴展能力。假如不同服務器節(jié)點分布的數(shù)據(jù)量不均勻，那么某些服務器節(jié)點的數(shù)據(jù)量和讀寫負載會明顯高于其它服務器節(jié)點，造成了負載偏移的現(xiàn)象，導致橫向擴展能力不足。

現(xiàn)有的數(shù)據(jù)分片方法主要分為下列3類：

(1)基于數(shù)據(jù)范圍的數(shù)據(jù)分片：每個分片會指定一個范圍，即指定分片的最小值和最大值，落入該范圍的數(shù)據(jù)歸屬于該分片。

(2)基于散列值的數(shù)據(jù)分片：每個分片同樣指定一個散列值范圍，假如數(shù)據(jù)的散列值在該范圍內，則屬于該分片。

(3)基于一致性散列的數(shù)據(jù)分片：整個散列值范圍形成一個環(huán)，然后計算服務器節(jié)點的散列值并將其添加到環(huán)中，之后計算數(shù)據(jù)的散列值，并在環(huán)上順時針尋找服務器節(jié)點，遇到的第一個服務器節(jié)點存儲該數(shù)據(jù)。如圖1所示的一致性散列分片的樣例展示了數(shù)據(jù)被存儲在節(jié)點#B中。

然而上述的數(shù)據(jù)分片方法存在下列缺陷：

(1)對于基于數(shù)據(jù)范圍的數(shù)據(jù)分片，每個分片的數(shù)據(jù)量很難控制的很均勻，極易容易造成負載偏移的現(xiàn)象，影響橫向擴展能力；

(2)對于基于散列值的數(shù)據(jù)分片，其緩解了分片數(shù)據(jù)量不均勻的問題，但是當服務器集群增加或刪除節(jié)點時，通常會造成服務器集群內多個節(jié)點的數(shù)據(jù)分片變化，調整數(shù)據(jù)分片時會傳輸大量的數(shù)據(jù)；

(3)對于基于一致性散列的數(shù)據(jù)分片，因為在服務器節(jié)點增刪時，該方法只變更散列環(huán)上的一段弧，其緩解了調整數(shù)據(jù)分片時會傳輸數(shù)據(jù)量大的問題，但服務器節(jié)點在散列環(huán)上的分布極易變得不均勻，同樣造成負載偏移的現(xiàn)象，影響橫向擴展能力。

此外，上述數(shù)據(jù)分配方法中，均未考慮到服務器節(jié)點硬件資源對數(shù)據(jù)分片的影響。集群內，服務器擁有的硬件資源可能有所不同，硬件資源少的服務器節(jié)點應分配到更小的數(shù)據(jù)分片，硬件資源多的服務器節(jié)點應分配到更大的數(shù)據(jù)分片，從而充分利用硬件資源，提升橫向擴展的能力，但是現(xiàn)有的數(shù)據(jù)分片方法無法做到這一點。

綜上所述，上述已有數(shù)據(jù)分片方法無法滿足風控、反欺詐等金融大數(shù)據(jù)領域的大量金融指標數(shù)據(jù)存儲和分片的需求。

發(fā)明內容

針對上述已有數(shù)據(jù)分片方法所產生的問題和缺陷，本發(fā)明提出了一種基于服務器節(jié)點硬件資源密度的數(shù)據(jù)分片方法，實現(xiàn)數(shù)據(jù)分片相對平均地分配到集群內各服務器節(jié)點的同時，同時考慮到服務器節(jié)點硬件資源的影響，從而滿足風控、反欺詐等金融大數(shù)據(jù)領域的大量金融指標數(shù)據(jù)存儲和分片的需求。