[發明專利]數據冗余方法及分布式存儲集群

有效

• 申請號: 202011025578.4
• 申請日: 2020-09-25
• 公開（公告）號: CN112052124B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 蘇偉
• 申請（專利權）人: 杭州宏杉科技股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F3/06
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 楊春香

1.一種數據冗余方法，其特征在于，應用于分布式存儲集群，所述分布式存儲集群包括至少一個集群節點，每一個集群節點包括至少一塊用于存儲數據的磁盤，每一塊磁盤按照預設Block大小劃分為多個Block，所述分布式存儲集群配置有至少一個LUN，每一個LUN按照預設Segment大小劃分為多個邏輯區間，每一個邏輯區間按照預設Block大小劃分為多個子邏輯區間，每一個集群節點針對本節點上的每一塊磁盤部署對應的磁盤管理模塊，每一個Segment對應一個寫入位圖，所述寫入位圖中的每一位用于標識對應子邏輯區間是否寫入過數據，每一個Segment還對應一個存儲位圖，所述存儲位圖中的每一位用于標識對應子邏輯區間的數據的存儲方式，所述分布式存儲集群采用N副本方式寫入，其中，N大于等于2，所述方法包括：

所述至少一個集群節點中的目標集群節點在監測到未訪問目標Segment的時長達到預設時長時，獲取所述目標Segment對應的寫入位圖和存儲位圖；

所述目標集群節點遍歷所述寫入位圖和所述存儲位圖，找到寫入過數據且存儲方式為副本方式的N個第一子邏輯區間；

所述目標集群節點從用于存儲所述目標Segment對應數據的N個第一磁盤中，選擇目標磁盤；

針對每一個第一子邏輯區間，所述目標集群節點向所述目標磁盤對應的目標磁盤管理模塊發送用于讀取第一子邏輯區間對應數據的讀命令；

所述目標集群節點根據所述目標磁盤管理模塊返回的各第一子邏輯區間的數據，計算校驗數據；

所述目標集群節點向第二磁盤對應的第二磁盤管理模塊發送用于指示將所述校驗數據寫入所述第二磁盤的寫命令，所述第二磁盤為預先指定的用于存儲所述目標Segment對應校驗數據的磁盤；

所述第二磁盤管理模塊從所述第二磁盤中為所述校驗數據分配第一Block，并將所述校驗數據寫入所述第一Block；

針對每一個第一磁盤，所述目標集群節點向第一磁盤對應的第一磁盤管理模塊發送用于指示刪除指定數據副本的刪除命令，以使所述N個第一子邏輯區間對應數據分別存儲于N個第一磁盤中。

2.如權利要求1所述的方法，其特征在于，所述針對每一個第一磁盤，所述目標集群節點向第一磁盤對應的第一磁盤管理模塊發送用于指示刪除指定數據副本的刪除命令之后，所述方法還包括：

針對每一個第一子邏輯區間，所述目標集群節點更新第一子邏輯區間在所述存儲位圖中對應位所標識的存儲方式為糾刪碼方式。

3.如權利要求1所述的方法，其特征在于，所述方法還包括：

所述目標集群節點接收到需要寫入所述目標Segment的寫請求時，確定所述寫請求涉及到的所述目標Segment中的各第二子邏輯區間，將所述寫請求拆分成針對每一個第二子邏輯區間的子寫請求；

針對每一個第二子邏輯區間執行如下處理：

所述目標集群節點查詢所述目標Segment的寫入位圖，確定第二子邏輯區間是否寫入過數據；

如果第二子邏輯區間寫入過數據，所述目標集群節點查詢所述目標Segment的存儲位圖，確定該第二子邏輯區間對應數據的存儲方式；

如果該第二子邏輯區間對應數據的存儲方式為糾刪碼方式，所述目標集群節點分別向各第一磁盤管理模塊發送針對該第二子邏輯區間的子寫請求，該子寫請求攜帶待寫入該第二子邏輯區間的數據以及糾刪碼標志；

第一磁盤管理模塊在確定子寫請求攜帶糾刪碼標志時，為該第二子邏輯區間分配第二Block，將數據寫入該第二Block，并記錄該第二子邏輯區間與第二Block的映射關系；

所述目標集群節點更新該第二子邏輯區間在所述存儲位圖中對應位所標識的存儲方式為副本方式。