[發明專利]一種智能哈希數據布局方法、集群存儲系統及其方法

有效

• 申請號: 201210287274.4
• 申請日: 2012-08-13
• 公開（公告）號: CN102855294A
• 公開（公告）日: 2013-01-02
• 發明（設計）人: 劉愛貴
• 申請（專利權）人: 北京聯創信安科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 胡彬

1.一種智能哈希數據布局方法，用于對一個數據卷中的存儲節點進行布局，其特征在于，數據以目錄為基本單位進行哈希分布，文件的父目錄利用擴展屬性記錄存儲節點的映射信息，子文件在父目錄所屬存儲節點中進行分布。

2.如權利要求1所述的智能哈希數據布局方法，其特征在于，對所述存儲節點預設容量閾值，在將目標文件寫入目標存儲節點之前，判斷所述目標存儲節點的可用存儲容量是否在所述預設容量閾值以下，若是則將所述目標文件寫入所述目標存儲節點，否則將所述目標文件寫入優先隊列中容量負載最小的存儲節點并創建一個從所述目標存儲節點至所述容量負載最小的存儲節點的文件鏈接。

3.如權利要求2所述的智能哈希數據布局方法，其特征在于，所述方法還包括寫新數據操作，所述寫新數據操作包括：

S1、存儲客戶端對請求文件名計算哈希值；

S2、所述存儲客戶端根據內存中維護的數據分布集群節點，向各所述數據分布集群節點請求所述請求文件的父目錄的哈希分布信息；

S3、使用所述哈希值在所述父目錄的哈希分布信息中查找所述請求文件的目標存儲節點；

S4、判斷所述目標存儲節點的可用存儲容量是否在預設的容量閾值以下，若是則確定所述目標存儲節點為所述請求文件的實際存儲節點并執行步驟S6，否則執行步驟S5；

S5、從優先隊列中選擇容量負載最小的存儲節點作為所述請求文件的實際存儲節點，并創建一個從所述實際存儲節點至所述目標存儲節點的文件鏈接，執行步驟S6；

S6、所述存儲客戶端與所述實際存儲節點直接進行I/O請求，寫入新數據。

4.如權利要求3所述的智能哈希數據布局方法，其特征在于，所述智能哈希數據布局方法還包括采用后臺自動負載均衡技術對存儲節點進行負載平滑處理。

5.如權利要求4所述的智能哈希數據布局方法，其特征在于，所述子文件在父目錄所屬存儲節點中進行分布具體包括如下情況之一：所述子文件在父目錄所屬存儲節點中進行條帶二級分布；所述子文件在父目錄所屬存儲節點中進行復制二級分布；所述子文件在父目錄所屬存儲節點中先進行條帶二級分布再進行復制三級分布。

6.一種集群存儲系統，包括存儲客戶端和存儲服務器集群，其特征在于，每個存儲服務器集群對應一個數據卷，每個數據卷采用一種數據布局方法對所述數據卷中的存儲節點進行布局，每個數據卷包括一個數據布局配置文件；

所述數據布局方法包括如權利要求1至5之一所述的智能哈希數據布局方法；

所述數據布局配置文件包括對應數據卷相關的存儲節點集合、對應數據卷的數據布局方法以及對應數據卷的分配策略；

所述存儲客戶端在啟動時將需要的數據卷的數據布局配置文件裝載到內存中，所述存儲客戶端利用數據卷的數據布局配置文件對所述數據卷的元數據操作和I/O數據操作進行協調和控制。

7.如權利要求6所述的集群存儲系統，其特征在于，所述數據布局方法還包括：數據以塊為基本單位進行條帶分布；數據以目錄為基本單位進行復制分布；數據以塊為基本單位進行條帶一級分布再進行復制二級分布。

8.一種集群存儲方法，該方法基于包括存儲客戶端和存儲服務器集群的系統實現，其特征在于，每個存儲服務器集群對應一個數據卷，每個數據卷采用一種數據布局方法對所述數據卷中的存儲節點進行布局，包括數據存儲方式和數據布局方法；

所述數據存儲的方式包括，每個數據卷包括一個數據布局配置文件，所述數據布局配置文件包括對應數據卷相關的存儲節點集合、對應數據卷的數據布局方法以及對應數據卷的分配策略，存儲客戶端在啟動時將需要的數據卷的數據布局配置文件裝載到內存中，所述存儲客戶端利用數據卷的數據布局配置文件對所述數據卷的元數據操作和I/O數據操作進行協調和控制；

所述數據布局方法包括如權利要求1至5之一所述的智能哈希數據布局方法。

9.如權利要求8所述的集群存儲方法，其特征在于，所述數據布局方法還包括：數據以塊為基本單位進行條帶分布；數據以目錄為基本單位進行復制分布；數據以塊為基本單位進行條帶一級分布再進行復制二級分布。