[發明專利]一種分布式存儲系統中存儲節點的數據更新方法

在審

• 申請號: 202010094501.6
• 申請日: 2020-02-16
• 公開（公告）號: CN111274259A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 陳鵬;于超;趙靖榮
• 申請（專利權）人: 西安奧卡云數據科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/22;G06F16/245;G06F16/27;G06F21/60
• 代理公司: 西安維賽恩專利代理事務所(普通合伙) 61257
• 代理人: 李明全

本發明公開了一種分布式存儲系統中存儲節點的數據更新方法，應用于分布式數據存儲系統的每個存儲節點中，在分布式數據存儲系統中的存儲節點變更后，獲取分布式數據存儲系統中存儲節點變更后的節點拓撲結構及節點信息，生成分布式哈希表；根據分布式哈希表重新分配當前存儲節點存儲的每個數據對象；對于存儲節點變化的數據對象，將數據對象發送至變化后的存儲節點；更新當前存儲節點的區段管理器和索引管理器中；使用分布式哈希表可以基于某種穩定哈希算法，在存儲節點數發生變化時，針對同樣的數據，穩定哈希算法每次計算的結果都大致相同，這樣可以保證數據所在的節點長時間保持穩定，避免數據的大規模移動。

【技術領域】

本發明屬于計算機存儲技術領域，尤其涉及一種分布式存儲系統中存儲節點的數據更新方法。

【背景技術】

分布式存儲空間管理的基本方法是通過多種映射，將用戶可見的邏輯卷設備映射到分布在各個節點上的底層數據塊。而為了維護這種映射關系，系統需要對大量的元數據進行管理。元數據管理算法直接決定著系統的性能的高低和功能的優劣。

分布式管理的存儲系統由許多個節點組成。系統需要跨節點地將每個服務器的零散存儲空間組織起來，給用戶呈現一個統一連續的視圖。節點和節點之間的通訊依賴成熟的網絡協議例如TCP/IP，在現代的某些場景里也可以使用新型網絡設備例如ROCE設備或者INFINIBAND設備。

節點的容量和處理能力可能是不盡相同的。系統需要按照每個節點的能力，合理地分配負載給每個節點。

同時，在分布式存儲系統中，節點可能會暫時或永久地失效。新的節點隨時可能加入，舊的節點隨時可能退出。每當組成系統的節點發生變化的時候，系統中的數據就需要在節點間進行移動，以達到節點間負載的均衡。

數據在節點間移動是通過網絡，這往往是一種代價昂貴的操作。在數據移動期間，系統整體性能會下降。因此，如何減少數據移動成為一個需要解決的問題。

【發明內容】

本發明的目的是提供數一種分布式存儲系統中存儲節點的數據更新方法，有效避免在分布式存儲系統中各存儲節點之間的數據大量轉移，由多個節點并發進行，充分利用網絡帶寬和多節點并發IO能力提升存儲系統的效率。

本發明采用以下技術方案：一種分布式存儲系統中存儲節點的數據更新方法，應用于分布式數據存儲系統的每個存儲節點中，在分布式數據存儲系統中的存儲節點變更后，包括：

獲取分布式數據存儲系統中存儲節點變更后的節點拓撲結構及節點信息，生成分布式哈希表；

根據分布式哈希表重新分配當前存儲節點存儲的每個數據對象；

對于存儲節點變化的數據對象，將數據對象發送至變化后的存儲節點；

更新當前存儲節點的區段管理器和索引管理器中。

進一步地，還包括：

接收其他數據存儲節點發出的數據對象；其中，該數據對象為在分布式哈希表中指示存儲在當前存儲節點的數據對象；

通過區段管理器保存數據對象，并更新當前節點的索引管理器。

進一步地，通過區段管理器保存數據對象包括：

根據數據對象生成對應的數據摘要值；

將數據對象和對應的數據摘要值寫入到活躍區段中；其中，活躍區段為當前用于寫入數據對象的區段；

根據寫入后的活躍區段生成數據對象的物理地址；其中，物理地址包括當前存儲節點的設備ID、當前活躍區段對應的區段號和數據對象在當前活躍區段中的偏移量。

進一步地，更新當前節點的索引管理器包括：

獲取數據對象的數據摘要值和物理地址；