[發(fā)明專利]快照實(shí)現(xiàn)方法及分布式存儲集群

有效

• 申請?zhí)枺?/td>: 202011025570.8
• 申請日: 2020-09-25
• 公開（公告）號: CN112052218B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計）人: 蘭英;蘇偉
• 申請（專利權(quán)）人: 杭州宏杉科技股份有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/182;G06F3/06
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 楊春香

本申請?zhí)峁┮环N快照實(shí)現(xiàn)方法及分布式存儲集群。集群節(jié)點(diǎn)針對快照前后為同一邏輯區(qū)間分配的不同Segment，指定該不同Segment對應(yīng)數(shù)據(jù)存儲到同一磁盤。并向該磁盤對應(yīng)磁盤管理模塊通告該不同Segment之間的依賴關(guān)系。磁盤管理模塊根據(jù)本地記錄的各Segment之間的依賴關(guān)系以及各Segment與Block的映射關(guān)系，處理該邏輯區(qū)間的IO請求。本申請不需要跨磁盤處理同一邏輯區(qū)間的IO請求，可有效提升IO處理性能，且可減輕集群節(jié)點(diǎn)的內(nèi)存開銷，減輕集群元數(shù)據(jù)服務(wù)器的負(fù)載壓力。

技術(shù)領(lǐng)域

本申請涉及存儲技術(shù)領(lǐng)域，尤其涉及一種快照實(shí)現(xiàn)方法及分布式存儲集群。

背景技術(shù)

快照(Snapshot)通常指針對指定數(shù)據(jù)集合的一個完全可用拷貝，該拷貝包括相應(yīng)數(shù)據(jù)在拷貝時間點(diǎn)的映像。

在分布式存儲集群中，通常以邏輯單元號(Logical?Unit?Number，LUN)為單位創(chuàng)建快照。每一個LUN按照預(yù)設(shè)Segment大小(比如，256MB)劃分為多個邏輯區(qū)間。每一個邏輯區(qū)間在發(fā)生實(shí)際寫入時被映射到Segment。每一個Segment按照快照粒度大小(比如，64KB)劃分為多個子邏輯區(qū)間。每一個Segment對應(yīng)一個寫入位圖。寫入位圖中的每一位對應(yīng)Segment中的一個子邏輯區(qū)間，用于標(biāo)識對應(yīng)子邏輯區(qū)間是否已寫入數(shù)據(jù)。

集群節(jié)點(diǎn)在內(nèi)存中組織各Segment對應(yīng)的寫入位圖。隨著寫入數(shù)據(jù)量的不斷增加，分配的Segment越來越多，內(nèi)存需要維護(hù)的寫入位圖的數(shù)量也隨之增多，這將極大消耗集群節(jié)點(diǎn)的內(nèi)存資源。且在寫入過程中不斷更新的寫入位圖需要存儲到集群元數(shù)據(jù)服務(wù)器中，這在一定程度上導(dǎo)致IO處理延時，同時，增加集群元數(shù)據(jù)服務(wù)器的負(fù)載壓力。

此外，由于創(chuàng)建快照前后同一邏輯區(qū)間被映射到不同Segment，而不同Segment的數(shù)據(jù)往往被指定存儲到不同磁盤，這導(dǎo)致后續(xù)針對該邏輯區(qū)間的訪問，需要跨磁盤操作，影響IO處理性能。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)岢鲆环N快照實(shí)現(xiàn)方法及分布式存儲集群，用以減少內(nèi)存開銷，減輕集群元數(shù)據(jù)服務(wù)器的負(fù)載壓力，同時，可提升集群的IO處理性能。

為實(shí)現(xiàn)上述申請目的，本申請?zhí)峁┝巳缦录夹g(shù)方案：

第一方面，本申請?zhí)峁┮环N快照實(shí)現(xiàn)方法，所述分布式存儲集群配置有至少一個LUN，每一個LUN按照預(yù)設(shè)Segment大小劃分為多個邏輯區(qū)間，每一個LUN對應(yīng)一個映射表，LUN的映射表用于記錄LUN中已映射的邏輯區(qū)間與Segment的標(biāo)識的映射關(guān)系以及該邏輯區(qū)間對應(yīng)的Snap標(biāo)志，所述Snap標(biāo)志用于指示下次向該邏輯區(qū)間寫入數(shù)據(jù)時是否分配新的Segment；所述分布式存儲集群包括至少一個集群節(jié)點(diǎn)，每一個集群節(jié)點(diǎn)包括至少一塊用于存儲數(shù)據(jù)的磁盤，每一個集群節(jié)點(diǎn)針對本節(jié)點(diǎn)上每一塊磁盤部署對應(yīng)的磁盤管理模塊，每一塊磁盤按照預(yù)設(shè)Block大小劃分為多塊Block，所述Block大小小于所述Segment大小，每一個Segment按照預(yù)設(shè)快照粒度大小劃分為多個子邏輯區(qū)間，所述快照粒度大小等于所述Block大小，每一個Segment對應(yīng)一個映射表，Segment的映射表用于記錄Segment中已映射的子邏輯區(qū)間與Block的標(biāo)識的映射關(guān)系，所述分布式存儲集群還包括Segment管理模塊，所述方法包括：

接收到針對目標(biāo)LUN的寫請求的目標(biāo)集群節(jié)點(diǎn)確定所述寫請求在所述目標(biāo)LUN中對應(yīng)的至少一個目標(biāo)邏輯區(qū)間，并將所述寫請求拆分成針對每一個目標(biāo)邏輯區(qū)間的子寫請求；

針對每一個目標(biāo)邏輯區(qū)間執(zhí)行如下處理：

所述目標(biāo)集群節(jié)點(diǎn)從所述目標(biāo)LUN的映射表中，查詢與當(dāng)前目標(biāo)邏輯區(qū)間對應(yīng)的第一Segment的標(biāo)識以及Snap標(biāo)志；

如果所述當(dāng)前目標(biāo)邏輯區(qū)間的Snap標(biāo)志指示需要分配新的Segment，則所述目標(biāo)集群節(jié)點(diǎn)向所述Segment管理模塊發(fā)送用于請求分配Segment的分配請求；