[發明專利]分布式系統的數據均衡方法及系統

在審

• 申請號: 202010002315.5
• 申請日: 2020-01-02
• 公開（公告）號: CN110955733A
• 公開（公告）日: 2020-04-03
• 發明（設計）人: 尹微;胡曉鵬;周澤湘;羅華;仇悅;文中領
• 申請（專利權）人: 北京同有飛驥科技股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京方韜法業專利代理事務所(普通合伙) 11303
• 代理人: 黨小林

本發明提供了一種分布式系統的數據均衡方法及系統。所述方法包括：采用輪詢round?robin算法將歸置組PG映射至基于對象的存儲設備OSD。本發明提供的分布式系統的數據均衡方法及系統利用輪算算法替代原有的CRUSH算法，能夠使得計算資源明顯減少，系統性能顯著提升。

技術領域

本發明涉及分布式存儲系統技術領域，特別是涉及一種分布式系統的數據均衡方法及系統。

背景技術

數據分布算法：存儲系統的數據分布算法解決數據如何分布到集群中各個節點和磁盤上，在我們的分布式存儲系統中，對應的就是將PG上的對象映射到若干個osd的過程。

PG：一個放置策略組，對象就是放在PG上，一個對象只能對應一個PG，一個PG包含多個對象。

OSD：可以簡單理解為操作磁盤的節點，一個osd對應一個物理磁盤。

現有技術有兩種實現方法，一種是基于集中式的元數據查詢的方式，查詢專門的元數據服務器得到映射關系；另一種是基于分布式算法以計算獲得的，如一致性哈希算法(DHT)、CRUSH算法等。

如今廣泛采用的是CRUSH算法，CRUSH是受控復制的分布式hash算法，是分布式存儲里面用于控制數據分布的一種方法，能夠高效穩定的將數據分布在普通的結構化的集群中。它是一種偽隨機的算法，在相同的環境下，相似的輸入得到的結果之間沒有相關性，相同的輸入得到的結果是確定的。它只需要一個集群的描述地圖和一些規則就可以根據一個整型的輸入得到存放數據的一個設備列表。Client在有IO操作的時候，可能會執行CRUSH算法。

CRUSH算法過于靈活，系統可以方便地增加或者刪除存儲設備(包括節點和設備失效的處理)，當增加或者刪除后自動實現數據的均衡，但是頻繁的計算、均衡導致數據遷來遷去，耗掉系統資源。

發明內容

本發明要解決的技術問題是提供一種分布式系統的數據均衡方法及系統，能夠實現計算資源的減少，系統性能的提升。

為解決上述技術問題，本發明提供了一種分布式系統的數據均衡方法，所述方法包括：采用輪詢round-robin算法將歸置組PG映射至基于對象的存儲設備OSD。

在一些實施方式中，基于對象的存儲設備OSD以基于對象的存儲設備列表OSDlist的形式存儲。

在一些實施方式中，基于對象的存儲設備OSD集群包括：N副本的基于對象的存儲設備OSD集群。

在一些實施方式中，采用輪詢round-robin算法將歸置組PG映射至基于對象的存儲設備，包括：采用輪詢round-robin算法將歸置組PG映射至N副本的基于對象的存儲設備列表OSD list。

在一些實施方式中，還包括：當基于對象的存儲設備OSD集群出現設備替換或者節點替換的情況時，根據輪詢round-robin算法僅將損壞的歸置組PG重新映射至對于對象的存儲設備OSD。

此外，本發明還提供了一種分布式系統的數據均衡系統，所述系統包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現根據前文所述的分布式系統的數據均衡方法。

采用這樣的設計后，本發明至少具有以下優點：

利用輪算算法替代原有的CRUSH算法，能夠使得計算資源明顯減少，系統性能顯著提升。

附圖說明

上述僅是本發明技術方案的概述，為了能夠更清楚了解本發明的技術手段，以下結合附圖與具體實施方式對本發明作進一步的詳細說明。

圖1是本發明實施例提供的分布式系統的數據均衡方法的流程圖；