[發明專利]一種基于GlusterFS的高容錯分布式存儲方法

有效

• 申請號: 201710205708.4
• 申請日: 2017-03-31
• 公開（公告）號: CN106951338B
• 公開（公告）日: 2019-11-29
• 發明（設計）人: 劉戊開;劉欲曉
• 申請（專利權）人: 湖南智擎科技有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07;G06F11/14
• 代理公司: 43225 長沙國科天河知識產權代理有限公司
• 代理人: 邱軼<國際申請>=<國際公布>=<進入國

1.一種基于GlusterFS的高容錯分布式存儲方法，包括：

步驟101、搭建GlusterFS集群，并創建包含若干存儲節點的Distributed類型數據卷，設置數據卷閾值，數據文件夾將以文件夾為單位分布存儲在數據卷中；

步驟102、在所有節點中創建數據文件夾；

步驟103、尋找最優節點，包括：步驟1031、掃描數據卷的所有節點的可用容量大小和已經存儲數據的容量大小，步驟1032、查看所有節點的可用容量大小是否大于數據卷閾值，如果都小于閾值則選擇可用容量最大的節點為最優節點；如果存在可用容量大于閾值的節點則在可用容量大于閾值的節點中選擇已經存儲數據最少的節點作為最優節點；

將最優節點上創建的所述數據文件夾的哈希區間定為最大，使所有的文件哈希值落在所述最優節點上，以使所述數據文件夾的所有文件都存儲在所述最優節點上，其他節點上創建的所述數據文件夾的哈希區間設置為0，以使所述數據文件夾的所有文件哈希值不會落在這些其他節點的哈希區間內；

步驟104、在每個節點創建的所述數據文件夾的擴展屬性trusted.GlusterFS.dht中記錄分配到的哈希區間；

步驟105、使用GlusterFS環境下的哈希計算方法，根據創建的將要存儲的所述數據文件夾中某個文件的文件名計算哈希值；

步驟106、根據計算得出的文件的哈希值，查看所有節點的所述數據文件夾的擴展屬性中記錄的已被分配到的哈希區間，確定計算得出的文件的哈希值所在的節點；

步驟107、在確定的待存儲節點上的所述數據文件夾下創建文件；依據相同的方法完成其他文件的創建，完成數據文件夾的存儲。

2.如權利要求1所述的方法，當數據卷已經存儲一定量數據時新增節點使得數據不均衡時，執行再均衡操作使所有節點的負載均衡，所述再均衡操作具體包括：

步驟a、當用戶進行再均衡操作時，遍歷所有節點，對每個節點，查看其可用容量是否大于數據卷創建時配置的閾值，如該節點可用容量大于閾值，則該節點數據不需要均衡，遍歷下一個節點；否則，進行步驟b對該節點進行數據均衡；當數據卷中的所有節點都被遍歷后結束再均衡操作；

步驟b、循環遷移需要進行數據均衡的節點的最小數據文件夾，每次找到大小最小的數據文件夾，尋找數據卷中的最優節點，如果最優節點可用容量也小于閾值，則整個數據均衡操作結束；否則，進行步驟c遷移所述最小數據文件夾到最優節點上；

步驟c、對需要遷移的數據文件夾中的每個文件，將其復制到確定出的最優節點上的對應文件夾中，所述對應文件夾在創建文件夾的時已在每個節點都已被創建；

步驟d、在需要遷移的文件夾下的所有文件復制完成后，重新設置文件夾的擴展屬性trusted.GlusterFS.dht表示的哈希區間，將文件被遷移到的節點上文件夾的哈希區間設置為最大，而把文件遷出的節點上文件夾的哈希區間設置為最小，刪除文件遷出的節點上文件夾下的所有文件，該數據文件夾遷移完成，再次判斷文件遷出的節點的可用容量是否大于數據卷閾值，如果是，則遍歷數據卷的下一個節點，否則，重復步驟b。

3.如權利要求2所述的方法，步驟b中尋找數據卷中的最優節點進一步包括掃描數據卷的所有節點的可用容量大小和已經存儲數據的容量大小，查看所有節點的可用容量大小是否大于數據卷閾值，如果都小于閾值則選擇可用容量最大的節點為最優節點；如果存在可用容量大于閾值的節點則在可用容量大于閾值的節點中選擇已經存儲數據最少的節點作為最優節點。