[發(fā)明專利]數(shù)據(jù)冗余處理方法、裝置和分布式存儲系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201310499656.8
• 申請日: 2013-10-22
• 公開（公告）號: CN103559102A
• 公開（公告）日: 2014-02-05
• 發(fā)明（設(shè)計(jì)）人: 王雷;吳興博;龍翔
• 申請（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F3/06
• 代理公司: 北京永創(chuàng)新實(shí)專利事務(wù)所 11121
• 代理人: 祗志潔

技術(shù)領(lǐng)域：

本發(fā)明涉及存儲技術(shù)，尤其涉及一種數(shù)據(jù)冗余處理方法、裝置和分布式存儲系統(tǒng)。

背景技術(shù)：

分布式存儲系統(tǒng)包括通過網(wǎng)絡(luò)互聯(lián)的多個(gè)存儲節(jié)點(diǎn)，數(shù)據(jù)可以被分散地存儲到不同的存儲節(jié)點(diǎn)上，以實(shí)現(xiàn)大容量、高可靠性且易擴(kuò)展的存儲應(yīng)用。

現(xiàn)有的分布式存儲系統(tǒng)可以采用基于對象的存儲方式。對于這種存儲方式來說，現(xiàn)有技術(shù)采用存儲節(jié)點(diǎn)間的多份機(jī)制以保證數(shù)據(jù)存儲的可靠性。具體來說，該多份機(jī)制即為將該分布式存儲系統(tǒng)中的某一個(gè)或者某幾個(gè)存儲節(jié)點(diǎn)作為主存儲節(jié)點(diǎn)的備份節(jié)點(diǎn)。在寫數(shù)據(jù)時(shí)，需要將數(shù)據(jù)在這些存儲節(jié)點(diǎn)上寫入多份相同的數(shù)據(jù)，從而實(shí)現(xiàn)數(shù)據(jù)的冗余備份，在一個(gè)存儲節(jié)點(diǎn)發(fā)生故障時(shí)，其它存儲節(jié)點(diǎn)上的數(shù)據(jù)是可用的。

但是，上述現(xiàn)有的多份機(jī)制只是筒單地向多個(gè)存儲節(jié)點(diǎn)中寫入相同的數(shù)據(jù)，如果要保證損壞N個(gè)存儲節(jié)點(diǎn)后數(shù)據(jù)仍可用，則數(shù)據(jù)至少需要重復(fù)寫N+1份，則存儲節(jié)點(diǎn)的空間利用率最多為1/(N+1)，因此，存儲空間的利用率較低，存儲節(jié)點(diǎn)的負(fù)載增高；而且，這種多份機(jī)制不能支持多種類型的冗余備份方式，靈活性較低。

發(fā)明內(nèi)容：

本發(fā)明針對現(xiàn)有多份機(jī)制所需的存儲空間利用率低且不支持多種類型的冗余備份方式的缺點(diǎn)，提供了一種數(shù)據(jù)冗余處理方法、裝置和分布式存儲系統(tǒng)。

本發(fā)明提供的一種數(shù)據(jù)冗余處理方法，具體是：首先，將寫入數(shù)據(jù)以固定長度L進(jìn)行切分，得到K個(gè)片段數(shù)據(jù)，當(dāng)最后一個(gè)片段的長度小于L時(shí)，以二進(jìn)制值00000000進(jìn)行填充，L為4N個(gè)字節(jié)，K為不小于1的自然數(shù)，N為正整數(shù)；然后，將每個(gè)片段數(shù)據(jù)等分成4個(gè)數(shù)據(jù)塊，由4個(gè)數(shù)據(jù)塊計(jì)算出4個(gè)冗余數(shù)據(jù)塊；最后，對每個(gè)片段數(shù)據(jù)，將對應(yīng)的4個(gè)數(shù)據(jù)塊和4個(gè)冗余數(shù)據(jù)塊存儲到至少4個(gè)存儲節(jié)點(diǎn)上，每個(gè)存儲節(jié)點(diǎn)包含每個(gè)片段數(shù)據(jù)的至多2個(gè)數(shù)據(jù)塊。所述的4個(gè)冗余數(shù)據(jù)塊通過對4個(gè)數(shù)據(jù)塊進(jìn)行邏輯異或操作（XOR）計(jì)算得到。

本發(fā)明提供的一種數(shù)據(jù)冗余處理裝置，包括：數(shù)據(jù)分段模塊、冗余數(shù)據(jù)生成模塊以及存儲模塊。數(shù)據(jù)分段模塊用于將寫入數(shù)據(jù)以固定長度L進(jìn)行切分，設(shè)共得到K個(gè)片段數(shù)據(jù)，當(dāng)最后一個(gè)片段的長度小于L時(shí)，以二進(jìn)制值00000000進(jìn)行填充，L為4N個(gè)字節(jié)，K為不小于1的自然數(shù)，N為正整數(shù)。冗余數(shù)據(jù)生成模塊，將每個(gè)片段數(shù)據(jù)等分成4個(gè)數(shù)據(jù)塊，并由4個(gè)數(shù)據(jù)塊計(jì)算出4個(gè)冗余數(shù)據(jù)塊。所述的4個(gè)冗余數(shù)據(jù)塊通過對4個(gè)數(shù)據(jù)塊進(jìn)行邏輯異或操作計(jì)算得到。存儲模塊將每個(gè)片段數(shù)據(jù)所對應(yīng)的4個(gè)數(shù)據(jù)塊和4個(gè)冗余數(shù)據(jù)塊存儲到至少4個(gè)存儲節(jié)點(diǎn)上，每個(gè)存儲節(jié)點(diǎn)包含每個(gè)片段數(shù)據(jù)的至多2個(gè)數(shù)據(jù)塊。

本發(fā)明還提供了一種分布式存儲系統(tǒng)，使用所述的數(shù)據(jù)冗余處理方法和裝置，該系統(tǒng)中最少包含4個(gè)存儲節(jié)點(diǎn)，每個(gè)存儲節(jié)點(diǎn)包含每個(gè)片段數(shù)據(jù)的至多2個(gè)數(shù)據(jù)塊。

所述的片段的長度L為固定值，且對于同一個(gè)系統(tǒng)中的數(shù)據(jù)，片段長度是唯一的。

本發(fā)明的數(shù)據(jù)冗余處理方法、裝置和分布式存儲系統(tǒng)，提高了存儲空間的利用率，降低了存儲節(jié)點(diǎn)的負(fù)載，且支持多種類型的冗余備份方式，靈活性較高。對于大容量數(shù)據(jù)，本發(fā)明的分塊存儲可以提高數(shù)據(jù)的訪問速度，例如在進(jìn)行數(shù)據(jù)遷移和校驗(yàn)時(shí)，對散布在不同節(jié)點(diǎn)的數(shù)據(jù)可以進(jìn)行并行的操作，相比對一個(gè)大文件的線性處理，節(jié)省時(shí)間。本發(fā)明的備份方式按照實(shí)際占用的容量，需要兩倍于原數(shù)據(jù)的存儲容量，并且通過邏輯異或操作產(chǎn)生的存儲塊，可在分塊不完整的情況下恢復(fù)丟失的數(shù)據(jù)。而典型的分布式數(shù)據(jù)存儲系統(tǒng)（如Apache的HDFS）中不使用數(shù)據(jù)恢復(fù)編碼，而是直接使用三個(gè)一致的副本和簡單的檢錯(cuò)碼。相比之下，本發(fā)明的數(shù)據(jù)冗余處理方法、裝置和分布式存儲系統(tǒng)占用更少的存儲空間。

附圖說明:

圖1為本發(fā)明的數(shù)據(jù)冗余處理裝置的結(jié)構(gòu)示意圖；

圖2為本發(fā)明的數(shù)據(jù)冗余處理方法中對數(shù)據(jù)處理的示意圖。

具體實(shí)施方式:

下面將結(jié)合附圖和實(shí)施例對本發(fā)明的技術(shù)方案進(jìn)行詳細(xì)說明。

如圖1所示，本發(fā)明提供了一種數(shù)據(jù)冗余處理裝置，包括數(shù)據(jù)分段模塊1、冗余數(shù)據(jù)生成模塊2以及存儲模塊3。

所述的數(shù)據(jù)分段模塊1將寫入數(shù)據(jù)切分為等長的K個(gè)片段數(shù)據(jù)，K為不小于1的自然數(shù)，每個(gè)片段的長度為L。最后的第K個(gè)片段有可能小于所設(shè)定的長度L，則使用二進(jìn)制值00000000來進(jìn)行填充，使第K個(gè)片段的長度為L。片段的長度L在具體實(shí)施時(shí)采用固定值，對于一個(gè)系統(tǒng)中的數(shù)據(jù)，片段長度L是唯一的。設(shè)置片段長度L為4N個(gè)字節(jié)，N為正整數(shù)。