[發明專利]一種改進型的分布式存儲系統的數據分布方法及系統

在審

• 申請號: 201810196483.5
• 申請日: 2018-03-09
• 公開（公告）號: CN108491478A
• 公開（公告）日: 2018-09-04
• 發明（設計）人: 林鵬程
• 申請（專利權）人: 深圳市瑞馳信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市中科創為專利代理有限公司 44384
• 代理人: 彭西洋

本發明公開一種改進型的分布式存儲系統的數據分布方法及系統，該方法包括如下步驟：生成以存儲設備作為葉子結點的設備樹；根據預設配對規則，將設備樹中的存儲設備進行配對，并生成設備配對列表；依據設備配對列表，實現數據在設備樹中的分布。采用本發明的技術方案，可以實現一種容量更均衡(理論上接近100％)，橫向擴展和故障處理更少影響業務(設備越多影響越小)的分布式存儲的系統和方法。

技術領域

本發明涉及計算機存儲技術領域，特別涉及一種改進型的分布式存儲系統的數據分布方法及系統。

背景技術

對于分布式存儲系統，數據分布在各個結點中，需要一種有效的數據分布機制，不但能夠被快速尋址，并且數據的分布能夠考慮到容量均衡和負載均衡。目前現有分布式存儲系統的數據分布實現中，很多采用中心結點分配數據分布地址并查表索引，隨著數據量的增大，尋址開銷也越來越大。

其他分布式存儲系統，比如CEPH的數據分布采用哈希計算尋址，可以解決上面的問題，但也存在幾個不足：

(1)哈希計算分配數據地址，存在一定的隨機性，隨著系統的使用，各個存儲結點的容量使用很不均衡，在一些不利配置的條件下，最大和最小容量之間最高相差50％，即使對數據進行復雜的重新分布均衡優化，也僅能達到90％左右的容量使用率，造成容量的浪費；

(2)擴容或硬盤故障會導致數據分布發生變化，導致幾乎整個系統產生數據遷移。比如在Ceph中，數據最小地址單位(比如CEPH的歸置組Placement group)是動態變化的，當存儲池中出現故障或擴容時，會導致大量數據發生遷移，由于哈希分布的隨機性，當輸入發生變化后，輸出是整系統聯動的，會導致整個存儲池都參與數據的重新分布，過分影響用戶的正常使用。

發明內容

針對現有技術存在的問題，本發明提供一種改進型的分布式存儲系統的數據分布方法及系統。

為實現上述目的，本發明提供一種改進型的分布式存儲系統的數據分布方法，包括如下步驟：

生成以存儲設備作為葉子結點的設備樹；

根據預設配對規則，將設備樹中的存儲設備進行配對，并生成設備配對列表；

依據設備配對列表，實現數據在設備樹中的分布。

優選地，所述預設配對規則包括：

(1)、按照設備樹中不同的度大于零的結點進行配對；

(2)、副本數；

(3)、任一存儲設備最多只能參加一次配對，根據規則(2)未能實現配對的存儲設備處于只讀的降級狀態。

優選地，所述的依據設備配對列表，實現數據在設備樹中的分布包括以下任一方式：

用戶自行分配對象名，底層存儲對象名不帶顯式尋址信息；或

底層存儲對象名帶顯式尋址信息。

優選地，所述設備樹依層級分為：根節點、數據中心、機房、機架、主機、及設備。

本發明還提供一種改進型的分布式存儲系統的數據分布系統，包括：

設備樹，由存儲設備作為葉子結點而生成；

數據池組，由若干數據池組成，每一數據池包括副本數、設備配對列表、及該設備配對列表下的配對設備；

所述設備配對列表經由設備樹中的存儲設備依據預設配對規則而生成，所述預設配對規則包括副本數。

優選地，所述預設配對規則還包括：

(1)、按照設備樹中不同的度大于零的結點進行配對；