[發明專利]基于分布式存儲系統進行數據冗余處理方法

有效

• 申請號: 201210262780.8
• 申請日: 2012-07-26
• 公開（公告）號: CN102857554A
• 公開（公告）日: 2013-01-02
• 發明（設計）人: 劉德建;陳宏展;吳家亮;張建新;劉弘達;李浩清
• 申請（專利權）人: 福建網龍計算機網絡信息技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 福州市鼓樓區京華專利事務所(普通合伙) 35212
• 代理人: 宋連梅

【技術領域】

本發明涉及通訊設備技術領域，尤其涉及一種基于分布式存儲系統進行數據冗余處理方法。?

【背景技術】

分布式存儲系統包括通過網絡互連的多個存儲節點，數據可以被分散地存儲到不同的存儲節點上，以實現大容量、高可靠性且易擴展的存儲應用。?

現有的分布式存儲系統常用的數據高可靠保證技術是通過數據冗余的方法實現的，即把一份數據保存成多個副本，從而當部分副本所在的服務器故障時，仍然可以從其它正常的服務器訪問，這一技術可以保證數據讀取的高可靠。然而在數據寫入的過程中，只要其中的某一存有副本的服務器故障，將造成寫中斷，即無法保證數據寫入的高可靠性。?

現有技術中提供了一種“數據冗余處理方法、裝置和分布式存儲系統”，見公開號為：CN102279777A，公開日為：2011.12.14的中國專利，該方法，包括：采用冗余算法生成待寫入數據的M個切片數據和N個冗余片數據，所述M個切片數據和N個冗余片數據中任意損壞至多N個數據時，能夠利用未損壞的數據恢復損壞的數據，其中M為大于1的自然數，N為不小于1的自然數；將所述M個切片數據和N個冗余片數據分別存儲到位于至少兩個存儲節點上的對象中，其中，每個存儲節點包含至少一個對象集，每個對象集包含至少一個對象。該發明實施例可以提高存儲空間地利用率且降低了存儲負載，另外可以支持不同的冗余算法，從而滿足客戶不同的可靠性需求，靈活性較高。但該發明不能實現：某一存儲節點在數據存儲寫入的過程中，其該存儲節點的服務器發生故障，則就會造成寫中斷，即不能達到數據寫入的高可靠性。?

【發明內容】

本發明要解決的技術問題，在于提供一種基于分布式存儲系統進行數據冗余處理方法，實現了分布式存儲系統上文件數據讀和寫的全面高可靠性。?

本發明是這樣實現的：一種基于分布式存儲系統進行數據冗余處理方法，所述分布式存儲系統包括至少一控制節點的控制服務器和至少兩個存儲節點的存儲服務器，至少在兩個或兩個以上存儲節點的存儲服務器保存有相同的數據副本；?

所述數據冗余處理方法包括不分先后順序的讀取數據的處理和寫入數據的處理；?

所述讀取數據的處理：當客戶端要讀取一文件數據時，分布式存儲系統從保存有數據副本的所有存儲節點中隨機選取一存儲節點的存儲服務器與客戶端進行通信，判斷客戶端從選取的存儲服務器中是否成功讀取文件數據；否，則轉向分布式存儲系統的其他任意一保存有數據副本的存儲節點的存儲服務器再進行訪問讀取文件數據；是，則提示讀取文件數據成功；?

所述寫入數據的處理：當客戶端要寫入一文件數據時，將所述文件數據按一預設定的切片大小切片后進行寫操作；所述寫操作為：先將分布式存儲系統中的各存儲服務器進行分組，所述各組存儲節點的存儲服務器為包括至少兩個存儲服務器，選取一組存儲節點的存儲服務器將文件數據切片后的第一切片數據進行寫入，寫入成功后，重新選擇分布式存儲系統的其他一組存儲節點的存儲服務器進行文件數據的第一切片數據的寫入，所有存儲服務器第一切片數據均寫完后，各組存儲服務器進行下一切片數據的寫入，如此不斷循環將所有的切片數據進行寫入；?

任意一切片數據在寫入的過程中，被寫入的存儲服務器發生故障，則設置當前要寫入的切片數據大小為故障前文件數據最后寫入的大小位置，并立即從文件數據的該大小位置開始生成新的切片數據，選擇新的一組存儲節點的存儲服務器繼續寫入該新的切片數據；切片數據采用同步復制方法寫入；所述同步復制方法為：保存數據的一組存儲節點中的任何一存儲節點在接收到寫入數據時，先往組內其它存儲節點寫入數據，最后再寫所述一存儲節點。?

本發明具有如下優點：本發明的數據冗余處理方法包括不分先后順序的?讀取數據的處理和寫入數據的處理；其讀取數據的處理：讀取數據時，系統隨機選取一個存儲節點進行讀取，若讀取失敗，自動轉向其它存儲節點訪問別的副本。寫入數據的處理：采用文件數據分片技術、同步復制功能及異步更新功能相結合的方式實現數據寫入的高可靠。本發明在分布式存儲系統上既實現了數據讀取的高可靠性，又實現了數據寫入的高可靠性。其保證了分布式存儲系統上數據的全面可靠性，其數據不會損壞和丟失。?

【附圖說明】

圖1為本發明分布式存儲系統各存儲服務器的結構示意圖。?

圖2為本發明客戶端從存儲節點讀取數據的處理流程示意圖。?

圖3為本發明客戶端寫入數據到存儲節點的處理流程示意圖。?

【具體實施方式】