[發(fā)明專利]一種數(shù)據(jù)恢復(fù)方法及設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201711395260.3
• 申請(qǐng)日: 2017-12-21
• 公開（公告）號(hào): CN108170555B
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 何林強(qiáng);周明偉
• 申請(qǐng)（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類號(hào): G06F11/10
• 分類號(hào): G06F11/10
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 黃志華

本發(fā)明公開了一種數(shù)據(jù)恢復(fù)方法及設(shè)備，用于提高數(shù)據(jù)恢復(fù)的可靠性及磁盤的容錯(cuò)能力。其中的數(shù)據(jù)恢復(fù)方法包括：對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行分割處理，并將分割成的至少一個(gè)條帶分布在至少一個(gè)存儲(chǔ)域內(nèi)；每個(gè)條帶的數(shù)據(jù)塊和校驗(yàn)塊分別分布在不同的存儲(chǔ)域；若任一存儲(chǔ)域內(nèi)未形成條帶的數(shù)據(jù)塊和校驗(yàn)塊滿足預(yù)設(shè)條件，則對(duì)任一存儲(chǔ)域內(nèi)未形成條帶的數(shù)據(jù)塊和校驗(yàn)塊一起進(jìn)行編碼，生成新的至少一個(gè)校驗(yàn)塊；若任一存儲(chǔ)域內(nèi)的壞塊的數(shù)量不小于校驗(yàn)塊的數(shù)量，則根據(jù)新的至少一個(gè)校驗(yàn)塊，對(duì)壞塊進(jìn)行恢復(fù)，壞塊包括損壞的數(shù)據(jù)塊和損壞的校驗(yàn)塊；其中，若壞塊的數(shù)量小于校驗(yàn)塊的數(shù)量，則利用存儲(chǔ)域內(nèi)的未損壞的數(shù)據(jù)塊和校驗(yàn)塊對(duì)壞塊進(jìn)行恢復(fù)。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式存儲(chǔ)技術(shù)領(lǐng)域，特別涉及一種數(shù)據(jù)恢復(fù)方法及設(shè)備。

背景技術(shù)

糾刪碼(erasure coding，EC)是一種數(shù)據(jù)保護(hù)方法，它將原始數(shù)據(jù)分割成多個(gè)數(shù)據(jù)塊(strip)，將這多個(gè)數(shù)據(jù)塊通過(guò)算法編碼生成一個(gè)或多個(gè)校驗(yàn)塊，并將由連續(xù)的多個(gè)數(shù)據(jù)塊和相關(guān)聯(lián)校驗(yàn)塊組成的條帶(stripe)，存儲(chǔ)在不同的存儲(chǔ)空間，以實(shí)現(xiàn)部分存儲(chǔ)空間故障后，數(shù)據(jù)可重建。例如，請(qǐng)參見圖1，D0、D1、D2、D3、D4、D5為數(shù)據(jù)塊，P0、P1、P2為通過(guò)算法計(jì)算而得到的校驗(yàn)塊，組成一個(gè)糾刪碼存儲(chǔ)組(n+m,n＝6,m＝3)。圖1中所示，一行9個(gè)strip(數(shù)據(jù)塊和校驗(yàn)塊)組成一個(gè)stripe(條帶)，這個(gè)stripe中損壞strip的數(shù)量小于等于3個(gè)，即m的值，都可以通過(guò)n個(gè)數(shù)據(jù)塊和校驗(yàn)塊結(jié)合算法還原出損壞的strip。例如D0損壞，則通過(guò)剩余的8個(gè)數(shù)據(jù)塊中的6個(gè)通過(guò)算法計(jì)算而還原出D0。比如讀取D1、D2、D3、D4、D5、P0，重建D0(一般P0是由D0、D1、D2、D3、D4、D5通過(guò)異或計(jì)算得到，根據(jù)算法可恢復(fù)D0)。

一般而言，在分布式存儲(chǔ)系統(tǒng)中，為保障在部分分布式存儲(chǔ)節(jié)點(diǎn)故障時(shí)，存儲(chǔ)業(yè)務(wù)不受影響，需要將各個(gè)數(shù)據(jù)塊分布到網(wǎng)絡(luò)中不同的主機(jī)上。這意味著在某主機(jī)上重建一個(gè)數(shù)據(jù)塊，需要從網(wǎng)絡(luò)上的其他主機(jī)讀取多個(gè)關(guān)聯(lián)數(shù)據(jù)塊。例如在A主機(jī)重建D0時(shí)，需要通過(guò)網(wǎng)絡(luò)從其他主機(jī)上讀取D1、D2、D3、D4、D5、P0。一個(gè)n+m糾刪碼存儲(chǔ)組，能夠容忍m個(gè)錯(cuò)誤，即檢驗(yàn)塊的總數(shù)量，m值越大，糾刪碼計(jì)算量越大，且呈指數(shù)上升，所以一般不會(huì)有m大于4的情況。

糾刪碼的可靠性高，數(shù)據(jù)容易恢復(fù)。現(xiàn)有技術(shù)中，通常通過(guò)提高數(shù)據(jù)恢復(fù)速度，來(lái)減小節(jié)點(diǎn)故障的幾率，從而提高糾刪碼的可靠性。即若有節(jié)點(diǎn)發(fā)生故障，就較快地恢復(fù)該節(jié)點(diǎn)的數(shù)據(jù)，盡量在下一個(gè)節(jié)點(diǎn)發(fā)生故障之前，將上一個(gè)發(fā)生故障的節(jié)點(diǎn)的數(shù)據(jù)恢復(fù)，從而減小節(jié)點(diǎn)故障的幾率。或者，現(xiàn)有技術(shù)可以通過(guò)降低磁盤利用率換取更高的可靠性，例如以n+m和副本混合的方案存儲(chǔ)數(shù)據(jù)。其中，副本指包括n個(gè)數(shù)據(jù)塊存儲(chǔ)在一個(gè)存儲(chǔ)單元，n+m和副本混合的方案，是指存儲(chǔ)系統(tǒng)中至少存儲(chǔ)一個(gè)未經(jīng)糾刪碼編碼的原始數(shù)據(jù)塊，以及一組將原始數(shù)據(jù)塊經(jīng)過(guò)糾刪碼編碼形成的n+m存儲(chǔ)組。這種方案可以在n+m數(shù)據(jù)塊損壞時(shí)，通過(guò)副本進(jìn)行快速重建。如圖1所示，在沒(méi)有副本的情況下，任意一個(gè)strip損壞，都需要從網(wǎng)絡(luò)上讀取6倍的數(shù)據(jù)量，進(jìn)行數(shù)據(jù)的恢復(fù)。如果在存儲(chǔ)系統(tǒng)中另外存在單獨(dú)存儲(chǔ)一份副本(包括D0、D1、D2、D3、D4、D5)，則任意一個(gè)strip，甚至多個(gè)strip的恢復(fù)，都可以通過(guò)此副本在副本所在節(jié)點(diǎn)內(nèi)完成，即在節(jié)點(diǎn)內(nèi)即可計(jì)算出P0、P1、P2的值。

由于提高數(shù)據(jù)恢復(fù)速度受到來(lái)自于網(wǎng)絡(luò)的，硬件的，軟件的各種因素的制約，因此，提高數(shù)據(jù)恢復(fù)速度的應(yīng)用場(chǎng)景相當(dāng)有限。

一個(gè)n+m的糾刪碼存儲(chǔ)組，存儲(chǔ)空間利用率為n/(n+m)。而n+m和副本的混合存儲(chǔ)，盡管提高了數(shù)據(jù)恢復(fù)速度，但增加了數(shù)據(jù)冗余，磁盤容錯(cuò)能力上并沒(méi)有提高很多。磁盤容錯(cuò)能力可以用容許發(fā)生故障的節(jié)點(diǎn)數(shù)量來(lái)表征，數(shù)量越大，容錯(cuò)能力越高。例如最優(yōu)的數(shù)據(jù)塊分布情況是n+m和副本，分布在n+m+1個(gè)不同節(jié)點(diǎn)的磁盤中，那么存儲(chǔ)系統(tǒng)中任意的m+2個(gè)磁盤故障，就有可能導(dǎo)致數(shù)據(jù)損壞，而磁盤利用率僅為n/(2n+m)，即在磁盤利用率降低的情況下，磁盤的容錯(cuò)能力的提高并沒(méi)有達(dá)到預(yù)期效果。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種數(shù)據(jù)恢復(fù)方法及設(shè)備，用于提高數(shù)據(jù)恢復(fù)的可靠性及磁盤的容錯(cuò)能力。