[發(fā)明專利]一種分布式自適應(yīng)編碼存儲方法

有效

• 申請?zhí)枺?/td>: 201010159651.7
• 申請日: 2010-04-29
• 公開（公告）號: CN101834899A
• 公開（公告）日: 2010-09-15
• 發(fā)明（設(shè)計）人: 王曉京;蔣海波;唐聃;王一丁;肖宜龍;方佳嘉;蔡紅亮;王謙;孫宣東;陳崢
• 申請（專利權(quán)）人: 中科院成都信息技術(shù)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;G06F17/30
• 代理公司: 成都賽恩斯知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51212
• 代理人: 朱月仙;肖國華

技術(shù)領(lǐng)域

本發(fā)明涉及一種信息安全存儲領(lǐng)域的編碼存儲方法，特別涉及一種分布式自適應(yīng)編碼存儲方法。

背景技術(shù)

在以數(shù)據(jù)為中心的信息時代，特別是近年來，數(shù)據(jù)呈現(xiàn)爆炸式增長，如何安全有效的以較低存儲空間獲得數(shù)據(jù)的安全可用性是存儲領(lǐng)域面臨的重大問題。以較低的冗余度安全可靠地保存數(shù)據(jù)是存儲領(lǐng)域在新世紀(jì)提出的挑戰(zhàn)性問題之一，如何提高存儲系統(tǒng)的可持續(xù)容災(zāi)能力也成為業(yè)界研究的重點(diǎn)。目前，為提高系統(tǒng)的可靠性或性能，主要是采用復(fù)制的方案，但是在大規(guī)模分布式系統(tǒng)中有效地實(shí)現(xiàn)共享數(shù)據(jù)的一致性是復(fù)制技術(shù)所面臨的主要難題。同時，為提高系統(tǒng)的可靠性，對文件的多份復(fù)制大大提高了數(shù)據(jù)的冗余度，對于大數(shù)據(jù)量存儲來講，大大的提高了數(shù)據(jù)的存儲成本，同時專用存儲設(shè)備較為昂貴，且不容易擴(kuò)展。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的問題，本發(fā)明的主要目的在于提供一種冗余度低，且適用于存儲節(jié)點(diǎn)個數(shù)不確定的對等網(wǎng)絡(luò)或者自組織網(wǎng)絡(luò)中。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種分布式自適應(yīng)編碼存儲方法，應(yīng)用于分布式系統(tǒng)中，該分布式自適應(yīng)編碼存儲方法包括如下步驟：

(1)檢測分布式系統(tǒng)中存儲節(jié)點(diǎn)的個數(shù)；

(2)根據(jù)系統(tǒng)中存儲節(jié)點(diǎn)的個數(shù)進(jìn)行自適應(yīng)調(diào)整碼字，對需要存儲的文件進(jìn)行自適應(yīng)編碼；

(3)將編碼后的文件按節(jié)點(diǎn)個數(shù)進(jìn)行等分；

(4)將等分后的文件以統(tǒng)一的文件封裝格式封裝成文件塊，各文件塊均包含編碼塊、信息塊和校驗塊，所述編碼塊中包含碼字信息；

(5)將封裝后的文件塊存儲至系統(tǒng)中的各節(jié)點(diǎn)；

(6)當(dāng)某一節(jié)點(diǎn)發(fā)出文件需求請求，則檢測在線存儲節(jié)點(diǎn)并判斷節(jié)點(diǎn)是否完整；

(7)若節(jié)點(diǎn)完整，則將所有在線存儲節(jié)點(diǎn)的信息塊發(fā)送至文件請求節(jié)點(diǎn)，按順序重組獲得原文件；

(8)若節(jié)點(diǎn)不完整，則利用仍在活動的在線存儲節(jié)點(diǎn)的文件塊譯碼獲取缺失的信息塊，將譯碼出缺失的信息塊和現(xiàn)有的信息塊按順序重組獲得原文件；在存儲節(jié)點(diǎn)對丟失的信息塊進(jìn)行恢復(fù)后，再次利用自適應(yīng)編碼方法進(jìn)行二次編碼和文件封裝以重新恢復(fù)丟失的文件塊，并將重新恢復(fù)的文件塊按順序存儲在仍在活動的在線存儲節(jié)點(diǎn)上。

其中，上述分布式自適應(yīng)編碼存儲方法的步驟之一“根據(jù)系統(tǒng)中存儲節(jié)點(diǎn)的個數(shù)進(jìn)行自適應(yīng)調(diào)整碼字，對需要存儲的文件進(jìn)行自適應(yīng)編碼”具體包括如下步驟：

(1)分布式系統(tǒng)中存儲節(jié)點(diǎn)的個數(shù)為m，構(gòu)造一個參數(shù)為(n-t，n-1，t，(n-t)×t/(n-1))的糾刪碼，使其碼字之間距離相等，即構(gòu)造參數(shù)為(n-t，n-1，t，(n-t)×t/(n-1))的矩陣各行的數(shù)值為1的個數(shù)相等，各列的數(shù)值為1的個數(shù)也相等的碼字，保存為碼字信息，其中n≥m，n＞t，具體包括如下步驟：①令n＝m；②在1與n之間尋找t，使得(n-t)×t/(n-1)整除成立，且t≠1，t≠n；③若不存在t使得(n-t)×t/(n-1)整除成立，則讓n＝n+1，并返回上述步驟②，直至存在t使得(n-t)×t/(n-1)整除成立；④計算使得取最小值時的t，即此時n，t為所選擇參數(shù)；⑤將(n-t)×(n-1)矩陣A的第0列至第t-1列的所有元素賦值為1，其他元素賦值為0；⑥對列t≤j＜n-1，計算矩陣A第j列的數(shù)值為1的個數(shù)，如果第j列的數(shù)值為1的個數(shù)小于(n-t)×t/(n-1)，必然a_i，j′＝1使得第j′列中數(shù)值為1的數(shù)量大于(n-t)×t/(n-1)，其中0≤j′＜n-1，且j′≠j，則賦值a_i，j＝1，a_i，j′＝0；⑦重復(fù)上述步驟⑥，直到矩陣A每列中1的個數(shù)均等于(n-t)×t/(n-1)；

(2)將構(gòu)造出的矩陣A上的點(diǎn)隨機(jī)劃分為t個所含元素數(shù)相等的集合D₀…D_i-1，校驗塊可由如下公式得出：i＝n-t…n-1，j＝0…n-1，其中，d_i-(n-t)，s為與集合D_i-(n-t)中的元素對應(yīng)的矩陣A中的點(diǎn)。

上述分布式自適應(yīng)編碼存儲方法中涉及的編碼塊，除碼字信息外，還包括：數(shù)據(jù)塊大小、編碼塊大小、信息塊大小、校驗塊大小、數(shù)據(jù)塊標(biāo)號、擴(kuò)展信息和分組信息，其中數(shù)據(jù)塊大小等于編碼塊大小、數(shù)據(jù)塊大小和校驗塊大小之和，利用編碼塊大小、數(shù)據(jù)塊大小和校驗塊大小可以分別獲取文件塊中的編碼塊、數(shù)據(jù)塊和校驗塊。

上述分布式自適應(yīng)編碼存儲方法的步驟之一“若節(jié)點(diǎn)不完整，則利用仍在活動的在線存儲節(jié)點(diǎn)的文件塊譯碼獲取缺失的信息塊”有多種實(shí)現(xiàn)方式如下：

第一種實(shí)現(xiàn)方式包括如下步驟：