[發明專利]一種數據恢復方法及設備

有效

• 申請號: 201711395260.3
• 申請日: 2017-12-21
• 公開（公告）號: CN108170555B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 何林強;周明偉
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F11/10
• 分類號: G06F11/10
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明公開了一種數據恢復方法及設備，用于提高數據恢復的可靠性及磁盤的容錯能力。其中的數據恢復方法包括：對待存儲數據進行分割處理，并將分割成的至少一個條帶分布在至少一個存儲域內；每個條帶的數據塊和校驗塊分別分布在不同的存儲域；若任一存儲域內未形成條帶的數據塊和校驗塊滿足預設條件，則對任一存儲域內未形成條帶的數據塊和校驗塊一起進行編碼，生成新的至少一個校驗塊；若任一存儲域內的壞塊的數量不小于校驗塊的數量，則根據新的至少一個校驗塊，對壞塊進行恢復，壞塊包括損壞的數據塊和損壞的校驗塊；其中，若壞塊的數量小于校驗塊的數量，則利用存儲域內的未損壞的數據塊和校驗塊對壞塊進行恢復。

技術領域

本發明涉及分布式存儲技術領域，特別涉及一種數據恢復方法及設備。

背景技術

糾刪碼(erasure coding，EC)是一種數據保護方法，它將原始數據分割成多個數據塊(strip)，將這多個數據塊通過算法編碼生成一個或多個校驗塊，并將由連續的多個數據塊和相關聯校驗塊組成的條帶(stripe)，存儲在不同的存儲空間，以實現部分存儲空間故障后，數據可重建。例如，請參見圖1，D0、D1、D2、D3、D4、D5為數據塊，P0、P1、P2為通過算法計算而得到的校驗塊，組成一個糾刪碼存儲組(n+m,n＝6,m＝3)。圖1中所示，一行9個strip(數據塊和校驗塊)組成一個stripe(條帶)，這個stripe中損壞strip的數量小于等于3個，即m的值，都可以通過n個數據塊和校驗塊結合算法還原出損壞的strip。例如D0損壞，則通過剩余的8個數據塊中的6個通過算法計算而還原出D0。比如讀取D1、D2、D3、D4、D5、P0，重建D0(一般P0是由D0、D1、D2、D3、D4、D5通過異或計算得到，根據算法可恢復D0)。

一般而言，在分布式存儲系統中，為保障在部分分布式存儲節點故障時，存儲業務不受影響，需要將各個數據塊分布到網絡中不同的主機上。這意味著在某主機上重建一個數據塊，需要從網絡上的其他主機讀取多個關聯數據塊。例如在A主機重建D0時，需要通過網絡從其他主機上讀取D1、D2、D3、D4、D5、P0。一個n+m糾刪碼存儲組，能夠容忍m個錯誤，即檢驗塊的總數量，m值越大，糾刪碼計算量越大，且呈指數上升，所以一般不會有m大于4的情況。

糾刪碼的可靠性高，數據容易恢復。現有技術中，通常通過提高數據恢復速度，來減小節點故障的幾率，從而提高糾刪碼的可靠性。即若有節點發生故障，就較快地恢復該節點的數據，盡量在下一個節點發生故障之前，將上一個發生故障的節點的數據恢復，從而減小節點故障的幾率。或者，現有技術可以通過降低磁盤利用率換取更高的可靠性，例如以n+m和副本混合的方案存儲數據。其中，副本指包括n個數據塊存儲在一個存儲單元，n+m和副本混合的方案，是指存儲系統中至少存儲一個未經糾刪碼編碼的原始數據塊，以及一組將原始數據塊經過糾刪碼編碼形成的n+m存儲組。這種方案可以在n+m數據塊損壞時，通過副本進行快速重建。如圖1所示，在沒有副本的情況下，任意一個strip損壞，都需要從網絡上讀取6倍的數據量，進行數據的恢復。如果在存儲系統中另外存在單獨存儲一份副本(包括D0、D1、D2、D3、D4、D5)，則任意一個strip，甚至多個strip的恢復，都可以通過此副本在副本所在節點內完成，即在節點內即可計算出P0、P1、P2的值。

由于提高數據恢復速度受到來自于網絡的，硬件的，軟件的各種因素的制約，因此，提高數據恢復速度的應用場景相當有限。

一個n+m的糾刪碼存儲組，存儲空間利用率為n/(n+m)。而n+m和副本的混合存儲，盡管提高了數據恢復速度，但增加了數據冗余，磁盤容錯能力上并沒有提高很多。磁盤容錯能力可以用容許發生故障的節點數量來表征，數量越大，容錯能力越高。例如最優的數據塊分布情況是n+m和副本，分布在n+m+1個不同節點的磁盤中，那么存儲系統中任意的m+2個磁盤故障，就有可能導致數據損壞，而磁盤利用率僅為n/(2n+m)，即在磁盤利用率降低的情況下，磁盤的容錯能力的提高并沒有達到預期效果。

發明內容

本發明實施例提供一種數據恢復方法及設備，用于提高數據恢復的可靠性及磁盤的容錯能力。