[發明專利]一種基于GlusterFS的高容錯分布式存儲方法

有效

• 申請號: 201710205708.4
• 申請日: 2017-03-31
• 公開（公告）號: CN106951338B
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 劉戊開;劉欲曉
• 申請（專利權）人: 湖南智擎科技有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F11/14
• 代理公司: 43225 長沙國科天河知識產權代理有限公司
• 代理人: 邱軼<國際申請>=<國際公布>=<進入國

一種基于Glusterfs的高容錯分布式存儲方法，在Glusterfs集群創建包含若干節點的數據卷；在所有節點中創建數據文件夾；尋找最優節點，以使數據文件夾的所有文件都存儲在最優節點上；根據數據文件夾中某個文件的文件名計算哈希值，與所有節點的數據文件夾的哈希區間比較，確定該文件的哈希值所在的節點，并創建文件，最終完成數據文件夾的存儲。由于將hash區間分配在一個節點上，可以保證該數據文件夾下所有文件能夠存儲在一個節點上，保持集群的高容錯性。還改進了當發現數據不均衡現象時，用戶執行的使所有節點的負載均衡的再均衡操作。

技術領域

本發明涉及一種基于GlusterFS的高容錯的分布式存儲方法，特別針對具有高速在線和低速離線備份雙存儲的以文件夾為原子單位的數據存儲。

背景技術

近年來，隨著計算機和信息技術的迅猛發展和普及應用，行業應用系統的規模迅速擴大，所產生的數據呈爆炸性增長。動輒達到數百TB甚至數百PB規模的行業/企業大數據已遠遠超出了傳統的計算機存儲能力，因此，分布式存儲的使用已經越來越普及。

GlusterFS是目前較為成熟的開源分布式存儲軟件，是一個支持PB級數據存儲的無元數據服務器的分布式存儲系統，支持線性性能擴展。通過解除對元數據服務器的要求，消除了單點故障的性能瓶頸，真正實現了并行化數據訪問。

對于許多大數據應用而言，雖然數據總體規模非常大，但在特定時間段內需要訪問的數據通常僅占其中很小部分。因此，對于類似的大數據應用，不僅需要大規模的存儲數據，還需要快速的訪問部分數據，而目前的數據訪問瓶頸大部分仍然是磁盤性能。為了解決磁盤性能瓶頸，可以使用訪問速度高的高速磁盤，如固態硬盤。但是目前磁盤的訪問速度與其單位存儲價格基本成正比，即訪問速度越高的存儲介質單位存儲成本往往更高。因此，對于一個擁有海量數據且某一時間段內只需要訪問一部分數據的應用而言，全部使用高速磁盤或者全部使用普通廉價磁盤都是不合理的，全部使用高速磁盤由于很多數據在很長時間基本不會被訪問，造成了存儲成本的浪費；如果全部使用普通廉價磁盤，則不能滿足快速訪問數據的需求。對于此類應用，可以將多個普通磁盤和少量的高速磁盤通過網絡連接成GlusterFS集群，用高速磁盤當做存儲節點創建高速訪問Distributed類型數據卷，用普通磁盤當做存儲節點創建低速訪問Distributed類型數據卷。實現在存儲成本限制下，提供接近高速磁盤的數據訪問服務。

對于許多應用而言，其存儲數據是一個文件夾，并且文件夾中的文件相互依賴，一旦一個文件損壞或者丟失，則整個應用數據文件夾損壞。如果應用需要存儲的是大量這樣不可分割的數據文件夾，對于每個一個數據文件夾，目前的GlusterFS存儲機制是文件會根據文件名hash分布存儲在不同的節點的磁盤上，這樣面臨的一個問題是，一旦一個節點出現故障，幾乎所有的數據文件夾可能都會缺少部分文件，造成所有的數據文件夾損壞不可使用。

以上GlusterFS集群中的高速數據卷是為了加快數據訪問速度，其中存儲的數據低速數據卷中都有備份，所以可以允許節點損壞造成的部分數據丟失，但是對于存儲整體數據文件夾，一個節點的故障則會造成數據的全部損壞，這是不能容忍的。并且由于高速數據卷采用高速磁盤做存儲介質，代價比較昂貴，而GlusterFS的replicated數據卷的存儲利用率非常低，同時，使用備份存儲因為寫數據的時候需要寫多份，會降低寫性能，對于高速訪問數據卷是不合適的。所以需要一個替代方案能夠滿足以下要求：

1.存儲利用率高，由于高速代價非常高，不能以較大的犧牲存儲保證數據安全性。

2.數據是相對安全的，一個節點的故障不能影響其他節點的數據，高速存儲區中的數據在低速廉價存儲區都有備份，少量的數據文件夾的丟失可以接受，只需重新從低速存儲區再復制一份即可。

3.不會對數據的訪問和存儲速度造成較大影響。