[發(fā)明專利]一種基于分片集群擴容的數(shù)據(jù)平衡方法與設備

在審

• 申請?zhí)枺?/td>: 202210146908.8
• 申請日: 2022-02-17
• 公開（公告）號: CN114338692A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設計）人: 李峰;張凌嫣;李廣斌
• 申請（專利權）人: 上海玄翎科技有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008;H04L67/1097;H04L67/563;H04L41/0896
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 王路豐

本申請的目的是提供一種基于分片集群擴容的數(shù)據(jù)平衡方法與設備。與現(xiàn)有技術相比，本申請通過當接收外部應用發(fā)送的外部請求的節(jié)點為擴容后產(chǎn)生的第一節(jié)點且所述第一節(jié)點未保存所述外部請求對應數(shù)據(jù)時，所述第一節(jié)點向分片集群的全部其他節(jié)點發(fā)送請求信息；保存有所述外部請求對應數(shù)據(jù)的第二節(jié)點響應所述請求信息，以使所述第一節(jié)點及外部應用獲取遷移數(shù)據(jù)及所述外部請求對應數(shù)據(jù)；所述第一節(jié)點獲取并保存所述遷移數(shù)據(jù)后，向所述第二節(jié)點發(fā)送遷移完成信息，使所述第二節(jié)點刪除所述遷移數(shù)據(jù)。通過該方式，將數(shù)據(jù)平衡過程分解在外部服務的過程中，不需額外消耗分片集群的資源，通過多次對外提供服務即可實現(xiàn)數(shù)據(jù)平衡。

技術領域

本申請涉及計算機技術領域，尤其涉及一種基于分片集群擴容的數(shù)據(jù)平衡的技術。

背景技術

分片集群擴容的一個關鍵環(huán)節(jié)時實現(xiàn)數(shù)據(jù)平衡，現(xiàn)有實現(xiàn)數(shù)據(jù)平衡的方法大致分為兩類：

1.在數(shù)據(jù)平衡期間暫停對外提供服務，集中資源以最快的速度完成數(shù)據(jù)平衡，而后恢復對外服務。這樣的實現(xiàn)方式，從技術上來看較為簡單，數(shù)據(jù)安全性也較高，但對于一些服務而言，數(shù)據(jù)服務暫停可能會導致較大的業(yè)務事故，因此無法通過該方式實現(xiàn)數(shù)據(jù)平衡；

2.數(shù)據(jù)平衡期間仍然對外提供數(shù)據(jù)服務，但此方式使得集群消耗部分資源來進行數(shù)據(jù)平衡，此期間集群整體對外服務的性能會出現(xiàn)相應的下滑。

因此，需要一種數(shù)據(jù)平衡方式，既能在數(shù)據(jù)平衡期間繼續(xù)提供對外服務，又能減少對集群資源的消耗，降低對對外服務性能的影響。

發(fā)明內(nèi)容

本申請的目的是提供一種基于分片集群擴容的數(shù)據(jù)平衡方法與設備。

根據(jù)本申請的一個方面，提供了一種基于分片集群擴容的數(shù)據(jù)平衡方法，其中，所述方法包括：

當接收外部應用發(fā)送的外部請求的節(jié)點為擴容后產(chǎn)生的第一節(jié)點且所述第一節(jié)點未保存所述外部請求對應數(shù)據(jù)時，所述第一節(jié)點向分片集群的全部其他節(jié)點發(fā)送請求信息；

保存有所述外部請求對應數(shù)據(jù)的第二節(jié)點響應所述請求信息，以使所述第一節(jié)點及外部應用獲取遷移數(shù)據(jù)及所述外部請求對應數(shù)據(jù)，其中，所述遷移數(shù)據(jù)包括用于實現(xiàn)各個節(jié)點間數(shù)據(jù)平衡的數(shù)據(jù)；

所述第一節(jié)點獲取并保存所述遷移數(shù)據(jù)后，向所述第二節(jié)點發(fā)送遷移完成信息，使所述第二節(jié)點刪除所述遷移數(shù)據(jù)。

優(yōu)選地，所述方法還包括在所述分片集群中建立發(fā)布訂閱模式的頻道，其中，所述第一節(jié)點向分片集群的全部其他節(jié)點發(fā)送請求信息包括：

所述第一節(jié)點向頻道中發(fā)送請求信息；

分片集群的全部其他節(jié)點作為該頻道的訂閱者，通過該頻道接收所述第一節(jié)點發(fā)送的請求信息。

優(yōu)選地，其中，所述在所述分片集群中建立發(fā)布訂閱模式的頻道包括：

利用Libp2p協(xié)議在P2P網(wǎng)絡中建立所述發(fā)布訂閱模式的頻道。

進一步地，其中，所述請求信息包括外部請求對應數(shù)據(jù)的鍵值及所述第一節(jié)點的ID，所述保存有所述外部請求對應數(shù)據(jù)的第二節(jié)點響應所述請求信息，以使所述第一節(jié)點及外部應用獲取遷移數(shù)據(jù)及所述外部請求對應數(shù)據(jù)，包括：

所述第二節(jié)點根據(jù)所述鍵值在本地查找到所述外部請求對應數(shù)據(jù)后，按照數(shù)據(jù)分布算法確定遷移數(shù)據(jù)；

所述第二節(jié)點根據(jù)所述第一節(jié)點的ID向所述第一節(jié)點發(fā)送所述第二節(jié)點的ID，以使所述第一節(jié)點拉取外部請求對應數(shù)據(jù)及遷移數(shù)據(jù)；

所述第一節(jié)點將拉取到的外部請求對應數(shù)據(jù)轉發(fā)給外部應用。

進一步地，其中，所述請求信息包括外部請求對應數(shù)據(jù)的鍵值及所述第一節(jié)點的ID，所述保存有所述外部請求對應數(shù)據(jù)的第二節(jié)點響應所述請求信息，以使所述第一節(jié)點及外部應用獲取遷移數(shù)據(jù)及所述外部請求對應數(shù)據(jù)，包括：