[發明專利]一種OSD的數據恢復方法及裝置

有效

• 申請號: 202011350807.X
• 申請日: 2020-11-26
• 公開（公告）號: CN112395263B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 閔順新
• 申請（專利權）人: 新華三大數據技術有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/18;G06F11/14
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;高鶯然

本發明實施例提供了一種OSD的數據恢復方法及裝置，獲取監控節點MON中存儲的各版本的osdmap，MON存儲起始于目標版本號的osdmap，目標版本號是各OSD向MON上報的各個PG的LEC版本號中的最小版本號，根據起始于目標版本號的osdmap，確定起始于目標版本號的目標PG的OSD映射區間以及OSD映射列表；標記起始于目標版本號的第一個OSD映射區間為可能寫入數據區間；根據所確定的第一個OSD映射區間之后的其他OSD映射區間的OSD映射列表，確定至少一個權威OSD，并根據權威OSD中的數據對目標OSD進行數據恢復。實現在保障OSD正常恢復數據的前提下，減少MON保存的osdmap數目。

技術領域

本發明涉及數據存儲技術領域，特別是涉及一種OSD的數據恢復方法及裝置。

背景技術

ceph是一種分布式文件系統，對于ceph，放置策略組(placement group，PG)是虛擬的數據存儲邏輯單元，PG的載體可以是一種實體的硬件存儲單元，例如對象存儲設備(object storage device，OSD)。每個PG都有多個副本數據，分別存放在不同的OSD上，同時，每個OSD上也可以放置不同PG的副本數據。

ceph集群通過PG的peering過程來實現副本間數據一致性。

peering過程需要根據監控節點(monitor，MON)保存的一定數量的osdmap來判斷數據是否可恢復，每張osdmap都包含版本號，以及該版本號時集群中所有OSD的down/up情況，其中，當檢測到OSD出故障不可用時，標記該OSD狀態為down，當檢測到OSD重新恢復正常可用時，標記該OSD狀態為up。

在PG的peering過程中，根據osdmap計算該PG在不同osdmap版本號時的OSD映射區間，并判斷OSD映射區間在當時是否可能有數據寫入。如果判斷出某OSD映射區間在當時有可能有數據寫入，而該OSD映射區間對應的所有OSD在當前時刻均處于down狀態，則將PG標記為不可恢復狀態，從而避免數據丟失。

為了避免PG在peering過程中丟失數據，MON側需要盡可能保存集群當前需要保存的N張osdmap。然而，若N過大，會導致監控節點系統盤占用過大，影響集群的正常運行。此外，如果某OSD轉為down狀態后較長時間再轉為up狀態后，需要遍歷MON保存的這些osdmap，如果N過大，會導致該OSD上PG peering較長時間，可能會導致用戶業務歸零。

可見MON上osdmap的裁剪規則至關重要，既要避免數據丟失，又要減少其對集群以及用戶業務的影響。

現有方案中，當集群中有OSD在osdmap版本號為P時變為down狀態，過了很長時間，集群中osdmap已經更新到Q版本，此時該OSD變為up狀態，則按照現有osdmap裁剪規則，MON將保存從P版本開始，一直到當前最新的Q版本之間的所有的osdmap，若Q-P很大，就會導致MON上保存的osdmap數目過多，導致系統盤占用過大，影響集群正常使用，甚至會導致用戶業務歸零。

發明內容

本發明實施例的目的在于提供一種OSD的數據恢復方法及裝置，以實現在保障正確恢復OSD數據的前提下，減少MON保存的osdmap數目。具體技術方案如下：

為實現上述目的，本發明實施例提供了一種OSD的數據恢復方法，應用于目標放置策略組PG的目標對象存儲設備OSD，所述方法包括：

獲取監控節點MON中存儲的各版本的osdmap，其中，MON存儲起始于目標版本號的osdmap，所述目標版本號是各OSD向所述MON上報的各個PG的LEC版本號中的最小版本號，其中LEC版本號表示PG最近一次轉入清潔狀態時的osdmap的版本號；

根據所述起始于目標版本號的osdmap，確定起始于目標版本號的目標PG的OSD映射區間，以及每個OSD映射區間的OSD映射列表；