[發明專利]在故障存儲設備上快速恢復數據的方法

在審

• 申請號: 201810904110.9
• 申請日: 2018-08-09
• 公開（公告）號: CN110825543A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 胡順榮;張彩紅;許大可;商小樂;王兆麗;顧麗珺
• 申請（專利權）人: 聯想企業解決方案（新加坡）有限公司
• 主分類號: G06F11/07
• 分類號: G06F11/07
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 賀紅星;高玉光

本發明公開了一種用于在故障存儲設備上恢復數據的方法。該方法包括檢測第一存儲設備發生故障的步驟；創建鏈接到第二存儲設備的模擬管理模塊；將存儲在第一存儲設備中的至少一些數據的副本寫入第二存儲設備；創建永久管理模塊；以及刪除模擬管理模塊。該方法避免了節點之間的數據復制，其消耗了集群網絡的帶寬，并且還提高了復制效率，同時保持大多數集群結構不變。

技術領域

本發明涉及使用計算機網絡的分布式數據存儲技術，尤其涉及分布式數據存儲系統中的故障數據存儲設備的恢復。

背景技術

當今的企業和消費者面臨著在諸如硬盤驅動器的非易失性數據存儲系統上存儲和管理不斷增加的數據量的問題。計算機存儲系統中一個有前景的解決方向是利用大規模商用計算機的集體存儲容量來形成大型分布式數據存儲系統。商業上可用的分布式數據存儲系統的示例包括Ceph，其能夠進行塊、對象和文件存儲，并且使得多個Ceph存儲節點(服務器)能夠協作以呈現容易處理許多拍字節的單個存儲系統，并且同時提高性能和容量。另一示例是機架規模設計(RSD)，它是一種分解硬件邏輯架構，例如計算，存儲和網絡資源，來自預配置的服務器，并將它們部署在可共享的資源池中。

在設計這種分布式數據存儲系統時，要考慮的一個重要因素是數據可靠性。一旦存儲了數據，用戶通常不希望或不能丟失任何存儲的數據。遺憾的是，數據管理鏈在各種鏈路上容易出現故障，這可能導致永久性數據丟失或數據暫時不可用。例如，大規模分布式數據存儲系統的許多單獨組件中的任何一個可能由于各種原因而故障。硬盤故障、計算機主板故障、內存問題、網絡電纜問題、連接松動(例如松散的硬盤驅動器電纜、內存電纜或網絡電纜)、電源問題等都可能發生，導致數據無法訪問。

因此，針對一個或多個存儲設備發生故障的可能性，已經開發了用于分布式數據存儲系統的各種數據恢復機制，而不管它是物理設備還是虛擬設備都無關緊要。一種典型的數據恢復方法以下列方式工作：當磁盤發生故障時，壞磁盤從分布式數據存儲系統中的集群中取出，系統開始重新平衡并將故障磁盤中的數據副本復制到整個存儲器集群中的其他可用存儲設備。更換新的存儲設備后，分布式數據存儲系統將再次執行重新平衡，以保持集群中的所有磁盤均等利用。這種方法的帶寬效率和處理能效低，因為它需要很長時間并且需要大量的網絡帶寬來執行兩次重新平衡。這嚴重影響了整個存儲器群集的性能。

發明內容

因此，在一個方面，本發明是一種用于在故障存儲設備上恢復數據的方法。該方法包括檢測第一存儲設備發生故障的步驟；創建鏈接到第二存儲設備的模擬管理模塊；將存儲在第一存儲設備中的至少一些數據副本寫入第二存儲設備；創建永久管理模塊；以及刪除模擬管理模塊。

重要的是，當存儲設備發生故障時，本發明提供的實施例減少了數據存儲系統的存儲集群中所需的重新平衡量。在一些實施例中，重新平衡過程可以在對整個集群性能的干擾小得多的情況下完成，因為對故障設備的I/O請求將經由虛擬指針被引導到其他設備，并且只有當集群負載不高時才會進行將數據回填到替換存儲設備。在一些其他實施例中，綁定到物理存儲設備的虛擬磁盤可以在不同的恢復過程時間安裝到不同的虛擬磁盤管理器，使得不是在集群中的不同節點之間進行數據傳輸，而是僅在相同的節點，例如通過本地計算機總線進行數據傳輸，這節省了網絡帶寬并導致更快的操作。最后，所提出的方法使用簡單的方法，這些方法不太可能導致系統沖擊和故障。集群的映射以及虛擬磁盤管理器都保持相同，這避免了額外的，不必要的計算和數據移動。

附圖說明

從以下優選實施例的描述中，本發明的上述和進一步的特征將變得顯而易見，所述優選實施例僅通過示例的方式結合附圖提供，其中：

圖1示出了根據本發明一個實施例的分布式數據存儲系統的架構。

圖2示出了圖1的分布式數據存儲系統中包含OSD和PG的主機的結構。

圖3示出了指向外部主機中的資源的圖2的主機中的模擬OSD中的虛擬指針的圖示。