[發明專利]一種針對編碼冗余存儲系統的自適應數據存儲與重構方法

在審

• 申請號: 201410175898.6
• 申請日: 2014-04-28
• 公開（公告）號: CN103916483A
• 公開（公告）日: 2014-07-09
• 發明（設計）人: 蔣海波;李娜;周星梅;陳建中;王曉京
• 申請（專利權）人: 中國科學院成都生物研究所
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 成都賽恩斯知識產權代理事務所(普通合伙) 51212
• 代理人: 朱月仙

技術領域

本發明涉及信息技術領域，特別是涉及利用編碼冗余策略為基礎存儲架構的數據存儲系統的自適應數據存儲與丟失數據重構方法。

背景技術

與復制冗余技術相比，基于編碼冗余的可靠性技術，在擁有相同容錯能力的前提下具有更低的數據冗余和存儲開銷。但當系統中出現節點損毀或者數據塊丟失時，基于復制冗余的存儲策略僅需下載與丟失數據同樣大小的數據量就可以實現修復過程，但基于編碼冗余，如糾刪碼的冗余策略則至少需要下載k倍的丟失數據量才能解碼重構出丟失數據。因而與復制冗余策略相比，糾刪碼冗余策略在文件恢復時要占用更多的網絡帶寬資源，這將會給數據中心中本來就比較緊張的網絡帶寬資源帶來更大的壓力，進而給數據的讀取帶來更大的性能影響。正是由于糾刪碼冗余策略在數據修復過程中需要更大的維護帶寬，再加之需要更為復雜的管理策略，從而極大地限制了基于編碼容錯技術的應用和推廣。

顯然，如何利用體系結構的設計來避免編碼冗余策略本身在重構帶寬方面存在的劣勢，或者使糾刪編碼存儲系統具有更優的性能，同樣是業界關注的焦點。近年，隨著海量數據存儲系統基礎環節(如服務器性能、網絡帶寬、傳輸技術等)的飛速發展，系統結構研究的重心逐漸向客戶端過渡。

本發明針對編碼冗余存儲系統中，當有文件分塊丟失時，系統需要調用遠大于丟失的數據量來重構丟失的文件分塊的缺點，針對糾刪碼分布式存儲的特點，提出了基于對等結構的分布式存儲與重構方式。

發明內容

針對現有技術存在的問題，本發明的主要目的在于提供一種降低編碼冗余存儲系統的網絡帶寬壓力和服務器端計算壓力的自適應數據存儲與重構方法。

一種針對編碼冗余存儲系統的自適應數據存儲方法，該編碼冗余存儲系統包含服務器端和客戶端，客戶端向服務器端提出文件存儲需求，該針對編碼冗余存儲系統的自適應數據存儲方法包括如下步驟：

(1)該客戶端計算待存儲文件的哈希值，將待存儲文件的哈希值上傳至服務器端；

(2)將待存儲文件的哈希值與服務器端已經存儲的文件的哈希值進行比對；

(3)若出現相同的哈希值，則服務器端不接受該待存儲文件的上傳，但服務器端接受客戶端上傳的關于存儲文件的文件信息，并建立該文件信息與已經存儲的具有相同哈希值的文件的關聯；若未出現相同的哈希值，則服務器端接受該待存儲文件的上傳，將上傳的文件進行分塊，計算并存儲各文件分塊的哈希值，將各文件分塊進行編碼產生校驗數據分塊。

進一步地，在步驟(1)客戶端計算待存儲文件的哈希值之前，服務器端先詢問客戶端是否愿意計算待存儲文件的哈希值，若客戶端不愿意計算待存儲文件的哈希值，則將該待存儲文件直接上傳服務器端，由服務器端計算該待存儲文件的哈希值。針對待存儲文件直接上傳服務器端，由服務器端計算該待存儲文件的哈希值的情況，步驟(3)中若出現相同的哈希值，則對已經上傳的待存儲文件進行刪除。

一種針對編碼冗余存儲系統的自適應數據重構方法，該針對編碼冗余存儲系統的自適應數據重構方法包括如下步驟：

(1)實時檢測編碼冗余存儲系統服務器端是否有存儲節點損毀；

(2)當有存儲節點損毀時，系統將損毀存儲節點的文件分塊對應的哈希值標記為丟失狀態，并判斷損毀的存儲節點數是否大于系統的設定值，該系統的設定值在編碼所允許的容災范圍內；

(3)當損毀的存儲節點數大于系統的設定值時，編碼冗余存儲系統服務器端利用內部計算資源對丟失的文件分塊進行重構，當損毀的存儲節點數不大于系統的設定值時，進入步驟(4)；

(4)實時判斷是否有客戶端提出讀取文件請求；

(5)若有客戶端提出讀取文件請求，則判斷待讀取的文件是否有文件分塊丟失；

(6)若待讀取的文件有文件分塊丟失，則判斷客戶端的硬件資源是否符合設定的硬件性能要求；

(7)若客戶端的硬件資源不符合設定的硬件性能要求，則編碼冗余存儲系統服務器端利用內部計算資源對丟失的文件分塊進行重構，將恢復出的文件分塊提供給客戶端；若客戶端的硬件資源符合設定的硬件性能要求，則進入步驟(8)；

(8)詢問客戶端是否愿意參與丟失文件分塊的恢復；

(9)若客戶端愿意參與丟失文件分塊的恢復，則客戶端下載相關文件分塊與可以滿足恢復丟失文件分塊的校驗數據分塊，對丟失的文件分塊進行恢復。若客戶端不愿意參與丟失文件分塊的恢復，則編碼冗余存儲系統服務器端利用內部計算資源對丟失的文件分塊進行重構。