[發明專利]一種數據處理方法、裝置及分布式存儲系統

有效

• 申請號: 202110346412.0
• 申請日: 2021-03-31
• 公開（公告）號: CN113055495B
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 劉東;胡君怡;李丹旺
• 申請（專利權）人: 杭州海康威視系統技術有限公司
• 主分類號: H04L67/1008
• 分類號: H04L67/1008;H04L67/1097;G06F9/455
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;高鶯然

1.一種數據處理方法，其特征在于，應用于分布式存儲系統中的管理節點，所述分布式存儲系統還包括多個存儲節點，所述方法包括：

在滿足預設生成條件的情況下，獲取所述存儲節點的負載信息；

基于所述負載信息及預設的虛擬組的數量，為每個存儲節點生成對應的虛擬節點，得到多個虛擬組，其中，每個虛擬組包括多個虛擬節點；

從所述每個虛擬組中選擇兩個虛擬節點，分別作為該虛擬組的主節點和備節點；

基于各存儲對象的標識及虛擬組信息，將所述各存儲對象存儲至所述主節點對應的存儲節點中，并將所述各存儲對象的備份存儲至對應的備節點對應的存儲節點中，其中，所述虛擬組信息包括所述每個虛擬組與該虛擬組的主節點和備節點的對應關系；

其中，所述負載信息包括所述每個存儲節點的可用存儲容量；所述基于所述負載信息及預設的虛擬組的數量，為所述每個存儲節點生成對應的虛擬節點，得到多個虛擬組的步驟，包括：

根據每個存儲節點的可用存儲容量與所有存儲節點的總存儲容量之間的比例，確定每個存儲節點對應的虛擬節點的數量權重；基于所述每個存儲節點對應的虛擬節點的數量權重及預設的虛擬組的數量，為所述每個存儲節點生成對應的虛擬節點，得到多個虛擬組。

2.如權利要求1所述的方法，其特征在于，所述預設生成條件包括以下至少一種：

所述分布式存儲系統中的一個或多個存儲節點下線；

所述分布式存儲系統中的一個或多個存儲節點上線；

所述分布式存儲系統中的存儲節點的負載信息滿足預設不均衡條件；

接收到虛擬組更新指令。

3.如權利要求1所述的方法，其特征在于，所述從所述每個虛擬組中選擇兩個虛擬節點，分別作為該虛擬組的主節點和備節點的步驟，包括：

對每個虛擬節點的標識進行哈希運算，得到所述每個虛擬節點的哈希值，其中，所述每個虛擬節點的標識包括所屬的虛擬組的標識、所對應的存儲節點的標識及隨機數；

針對所述每個虛擬組包括的虛擬節點，按照所對應的哈希值進行排序，得到排序結果；

針對所述每個虛擬組包括的虛擬節點，基于所述排序結果，對連續的具有相同存儲節點的虛擬節點進行去重處理；

從去重處理后的每個虛擬組中，選擇連續的兩個虛擬節點，分別作為該虛擬組的主節點和備節點。

4.如權利要求1所述的方法，其特征在于，所述分布式存儲系統還包括監控節點；

所述獲取所述存儲節點的負載信息的步驟，包括：

獲取所述監控節點上報的所述存儲節點的負載信息。

5.如權利要求1-4任一項所述的方法，其特征在于，所述基于各存儲對象的標識及虛擬組信息，將所述各存儲對象存儲至所述主節點對應的存儲節點中，并將所述各存儲對象的備份存儲至對應的備節點對應的存儲節點中的步驟，包括：

將所述虛擬組信息發送至所述存儲節點，以使所述每個存儲節點基于所述虛擬組信息確定不屬于該存儲節點的目標存儲對象，并基于所述目標存儲對象的標識以及所述每個虛擬組的標識，確定第一目標虛擬組，將所述目標存儲對象遷移至所述第一目標虛擬組的主節點對應的存儲節點，以使所述第一目標虛擬組的主節點對應的存儲節點存儲所述目標存儲對象，并將所述目標存儲對象的備份存儲至所述第一目標虛擬組的備節點所對應的存儲節點。

6.如權利要求1-4任一項所述的方法，其特征在于，所述分布式存儲系統還包括網關節點；所述方法還包括：

將所述虛擬組信息發送至所述網關節點，以使所述網關節點存儲所述虛擬組信息。