[發(fā)明專利]一種應(yīng)用于集群系統(tǒng)數(shù)據(jù)容錯的方法

無效

• 申請?zhí)枺?/td>: 200810014401.7
• 申請日: 2008-02-28
• 公開（公告）號: CN101251812A
• 公開（公告）日: 2008-08-27
• 發(fā)明（設(shè)計）人: 寧雄雁;魏健;李剛;王守昊
• 申請（專利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類號: G06F11/08
• 分類號: G06F11/08
• 代理公司: 濟南信達專利事務(wù)所有限公司
• 代理人: 姜明

技術(shù)領(lǐng)域

本發(fā)明是一種關(guān)于磁盤陣列的容錯方法，特別是關(guān)于一種應(yīng)用集群系統(tǒng)中磁盤陣列或網(wǎng)絡(luò)存儲等技術(shù)的磁盤物理損壞或數(shù)據(jù)損壞的容災(zāi)方法。

背景技術(shù)

在高性能集群系統(tǒng)中，大量的計算節(jié)點對存儲設(shè)備進行操作，用戶通過終端對集群也頻繁進行數(shù)據(jù)訪問操作，頻繁的讀寫，增加了磁盤物理性損壞或誤操作而導(dǎo)致的數(shù)據(jù)丟失的概率，如何保障數(shù)據(jù)的安全性，就顯得尤為重要，而當前的容錯技術(shù)或多或少都存在一些I/O讀寫效率、時間效率、空間效率等方面不足的情況，甚至當磁盤同時物理損壞超過兩塊時就達到現(xiàn)有技術(shù)無能為力的境地。

目前擁有很多種方案來解決數(shù)據(jù)的安全性問題，例如：當數(shù)據(jù)丟失后，仍可以讓其恢復(fù)或再生。RAID(獨立冗余磁盤陣列)是由美國加州大學(xué)伯克利分校的D.A.Patterson教授在1988年提出的。RAID具有較高的性能，這是因為不同的磁盤上的數(shù)據(jù)可以同時讀取，從而提高磁盤的帶寬；所有磁盤可以并行地進行尋道工作，減少了尋道的時間，提高整體性能。在性能提高的同時，還可以保證一定程度的容錯性。通過相應(yīng)的冗余磁盤容錯機制，可以保證不在丟失保存在失效磁盤上的數(shù)據(jù)的前提下允許磁盤的失效。令人欣慰的Gibson等人對磁盤驅(qū)動器失效的規(guī)律進行了研究，他廣泛的收集了實驗數(shù)據(jù)并分析了磁盤失效模型，認為負指數(shù)分布很好地表述了磁盤驅(qū)動器的失效規(guī)律。這種研究可以給我們提供一種思維方式，比如因為自然災(zāi)害(地震，火災(zāi))，戰(zhàn)爭等等情況下，多個磁盤驅(qū)動器同時發(fā)生故障，系統(tǒng)癱瘓，也能對機密資料進行快速恢復(fù)或修復(fù)，給把數(shù)據(jù)視為生命的機構(gòu)和單位提供保障。

當前已提出了許多技術(shù)用于組織存儲在存儲設(shè)備例如盤驅(qū)動器中的數(shù)據(jù)。一個這種數(shù)據(jù)存儲組織稱為獨立(或廉價)盤冗余陣列或(RAID)。在RAID組織中，兩個或更多個盤驅(qū)動器配合使用，以改進容錯或性能，或二者。有不同類型的RAID數(shù)據(jù)存儲組織，并且這些不同的類型長稱為RAID0級，1級，2級…。

對于大多數(shù)情況，在目前單點失效模式，磁盤陣列系統(tǒng)主要依靠RAID5容錯來為用戶數(shù)據(jù)提供可靠性。在bit錯誤提高很少的情況下，磁盤容量的持續(xù)增長把RAID5和RAID6系統(tǒng)可靠性削弱了到無法令人接受的境地。磁盤陣列所利用的不同技術(shù)，稱為RAID級別，其每一個RAID級別都有自己的優(yōu)點和缺點，RAID6與其他級別的RAID相比，增加了兩個獨立的錯誤校驗區(qū)塊(Parity?Block)，其使用不同的算法，數(shù)據(jù)的可靠性高，既使兩個磁盤同時損毀，也不會影響數(shù)據(jù)的使用。但是需要分配給錯誤校驗區(qū)塊更大的磁盤空間，相對RAID5有更大的“寫損失”，由于RAID6的寫性能較差和實施復(fù)雜，使得RAID6很難實現(xiàn)。為了克服上述技術(shù)不足，必需有一種針對高性能集群系統(tǒng)的磁盤容錯的方法，其可以使用簡單的異或運算，快速解決磁盤物理損壞而丟失的數(shù)據(jù)的難題。

發(fā)明內(nèi)容

本發(fā)明是一種應(yīng)用集群系統(tǒng)的數(shù)據(jù)容錯方法，包括構(gòu)建數(shù)據(jù)損壞或磁盤物理性損壞的而導(dǎo)致丟失數(shù)據(jù)的再生。

在本發(fā)明的方法中，在集群系統(tǒng)設(shè)置包括共享高速存儲隊列和運算單元兩部分組成數(shù)據(jù)再生處理器，當磁盤數(shù)據(jù)進行校驗或恢復(fù)磁盤損壞丟失數(shù)據(jù)時，相應(yīng)正常磁盤數(shù)據(jù)通過I/O總線被取到共享高速緩存隊列，運算單元從高速緩存隊列取得數(shù)據(jù)進行異或運算，并將運算結(jié)果寫回共享高速緩存隊列，再將數(shù)據(jù)回寫至需要備份數(shù)據(jù)的磁盤或?qū)?yīng)數(shù)據(jù)磁盤，當構(gòu)建數(shù)據(jù)損壞或磁盤物理性損壞的而導(dǎo)致丟失數(shù)據(jù)時，同樣通過構(gòu)建磁盤陣列中數(shù)據(jù)塊校驗和重建操作的聯(lián)接關(guān)系，構(gòu)建生成特定的校驗數(shù)據(jù)塊，將該數(shù)據(jù)塊從存儲在存儲單元陣列中的磁盤驅(qū)動器上的數(shù)據(jù)傳送到數(shù)據(jù)再生處理器，通過“異或”運算，產(chǎn)生校驗數(shù)據(jù)并寫出到相應(yīng)的校驗數(shù)據(jù)塊上，關(guān)系聯(lián)接中的未損壞數(shù)據(jù)讀入數(shù)據(jù)再生管理器進行運算后生成丟失數(shù)據(jù)，將再現(xiàn)丟失數(shù)據(jù)寫到相應(yīng)的備份磁盤相應(yīng)數(shù)據(jù)塊或原有的數(shù)據(jù)存儲數(shù)據(jù)塊位置，以此來實現(xiàn)丟失數(shù)據(jù)的再生和重建。

構(gòu)建的數(shù)據(jù)再生處理器，將數(shù)據(jù)塊的數(shù)據(jù)從存儲數(shù)據(jù)塊或校驗數(shù)據(jù)塊傳送到數(shù)據(jù)再生處理器的動態(tài)變化的共享高速緩存隊列中，通過“異或”運算，將校驗數(shù)據(jù)或重建數(shù)據(jù)，通過共享高速緩存隊列直接寫到特定校驗數(shù)據(jù)塊中。

在構(gòu)建的磁盤陣列的容錯機制中，數(shù)據(jù)塊的數(shù)據(jù)按聯(lián)接關(guān)系進行校驗并將校驗值存放到關(guān)系特定的校驗數(shù)據(jù)塊中。

相關(guān)數(shù)據(jù)塊之間的聯(lián)接關(guān)系為數(shù)據(jù)塊間的聯(lián)接紐帶，是一個完整的數(shù)據(jù)校驗程式，并將校驗結(jié)果寫到了聯(lián)接關(guān)系的特定校驗數(shù)據(jù)塊。

數(shù)據(jù)再生處理器包含有共享高速緩存隊列，其進行動態(tài)劃分，對外顯現(xiàn)虛擬化特性。

特定的數(shù)據(jù)塊的數(shù)據(jù)校驗和數(shù)據(jù)丟失再現(xiàn)直接由數(shù)據(jù)再生處理器來完成。