[發明專利]數據處理方法及分布式存儲集群

有效

• 申請號: 202011027506.3
• 申請日: 2020-09-25
• 公開（公告）號: CN112181300B
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 蘇偉;蘭英
• 申請（專利權）人: 杭州宏杉科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

1.一種數據處理方法，其特征在于，應用于分布式存儲集群，所述分布式存儲集群包括至少一個集群節點，每一個集群節點包括至少一塊用于存儲數據的磁盤，每一塊磁盤按照預設Block大小劃分為多個Block，每一個集群節點針對本節點上的每一塊磁盤部署對應的磁盤管理模塊，所述分布式存儲集群還配置有至少一個LUN，每一個LUN按照預設Segment大小劃分為多個邏輯區間，每一個邏輯區間按照預設Block大小劃分為多個子邏輯區間，所述分布式存儲集群還部署有集群管理模塊，所述方法包括：

接收到針對目標LUN的寫請求的第一集群節點確定所述寫請求在所述目標LUN中對應的至少一個第一邏輯區間，將所述寫請求拆分成針對每一個第一邏輯區間的子寫請求；

針對每一個第一邏輯區間執行如下處理：

所述第一集群節點從已記錄的邏輯區間與Segment的標識的映射關系中，查詢是否存在與當前第一邏輯區間對應的第一Segment的標識；

如果存在，所述第一集群節點從已記錄的Segment的標識與磁盤的標識的映射關系中，獲取與所述第一Segment的標識對應的第一磁盤的標識；

如果不存在，所述第一集群節點向所述集群管理模塊發送用于請求分配Segment的分配請求，所述分配請求包括所述目標LUN的標識以及當前第一邏輯區間的起始地址；

所述集群管理模塊為所述當前第一邏輯區間分配第一Segment，指定用于存儲該第一Segment對應數據的第一磁盤；并將所述目標LUN的所述當前第一邏輯區間與所述第一Segment的標識的映射關系，以及所述第一Segment的標識與所述第一磁盤的標識的映射關系存儲至用于存儲集群元數據的第二集群節點；

所述集群管理模塊向所述第一集群節點返回分配響應，所述分配響應包括所述第一Segment的標識與所述第一磁盤的標識的映射關系；

所述第一集群節點向所述第一磁盤對應的第一磁盤管理模塊發送針對所述第一Segment的子寫請求，該子寫請求包括所述第一Segment的標識、待寫入數據在所述第一Segment中的起始地址、待寫入數據大小；

所述第一磁盤管理模塊根據待寫入數據在所述第一Segment中的起始地址以及待寫入數據大小，確定所述待寫入數據在所述第一Segment中對應的至少一個第一子邏輯區間；

所述第一磁盤管理模塊從已記錄的子邏輯區間與Block的標識的映射關系中，查詢是否存在與各第一子邏輯區間對應的Block的標識；

如果所述各第一子邏輯區間中存在沒有找到對應Block標識的至少一個第二子邏輯區間，所述第一磁盤管理模塊分別為各第二子邏輯區間分配用于存儲第二子邏輯區間對應數據的Block；并在所述第一磁盤中存儲所述第一Segment中各第二子邏輯區間與對應Block的標識的映射關系；

所述第一磁盤管理模塊在確定各第一子邏輯區間對應的Block后，將各第一子邏輯區間對應數據分別寫入各第一子邏輯區間對應的Block中。

2.如權利要求1所述的方法，其特征在于，所述集群管理模塊指定用于存儲當前第一邏輯區間對應數據的第一磁盤之前，所述方法還包括：

每一個磁盤管理模塊在檢測到對應磁盤發生容量變化，且容量變化量達到預設的第一容量變化閾值時，向所述集群管理模塊上報其所管理磁盤的容量信息；

所述集群管理模塊指定用于存儲當前第一邏輯區間對應數據的第一磁盤，包括：

所述集群管理模塊根據各磁盤的容量信息，從所述各磁盤中，選擇剩余容量最大的磁盤作為第一磁盤。

3.如權利要求2所述的方法，其特征在于，所述方法還包括：

所述磁盤管理模塊檢測到磁盤的剩余容量小于預設的剩余容量閾值，且容量變化量達到預設的第二容量變化閾值時，向所述集群管理模塊上報磁盤的容量信息，其中，所述第二容量變化閾值小于所述第一容量變化閾值。

4.如權利要求1所述的方法，其特征在于，所述第一磁盤管理模塊分別為各第二子邏輯區間分配用于存儲第二子邏輯區間對應數據的Block，包括：

獲取用于記錄第一磁盤中各Block分配情況的位圖，其中，所述位圖的每一位用于標識對應Block是否已分配；

分別為各第二子邏輯區間分配標識為未分配的位對應的Block。