[發明專利]基于低修復帶寬的云存儲系統及方法

有效

• 申請號: 201710544567.9
• 申請日: 2017-07-05
• 公開（公告）號: CN107689983B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 駱源;徐亞寧
• 申請（專利權）人: 上海交通大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;H04L1/00
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 郭國中

本發明提供了一種基于低修復帶寬的云存儲系統，包括數據插入和讀取模塊、編碼預處理模塊、數據文件編碼模塊、數據文件解碼模塊、數據文件管理模塊、數據存儲模塊以及數據修復模塊；同時提供了一種基于低修復帶寬的云存儲方法，包括系統初始化階段、用戶插入數據階段、數據文件編碼階段、用戶讀取數據階段、數據文件解碼階段以及故障節點的修復階段；本發明通過引入糾刪碼技術，在保證數據存儲可靠性的同時降低數據存儲的冗余度；針對故障節點修復過程帶來的網絡阻塞問題，采用了網絡編碼和干擾對其技術，引入了互信息量的解決方案。具有數據存儲的可靠性性易于保證，同時緩解了故障節點修復過程中網絡的擁塞程度。

技術領域

本發明屬于數據存儲領域，具體是通過數據編碼來增強存儲可靠性的基于低修復帶寬的云存儲系統及方法，用于降低節點發生故障時產生的修復帶寬。

背景技術

近年來，隨著互聯網技術日新月異的快速發展，以及整個信息行業的發展，無論是個人信息還是企業數據都在爆炸式的增長。因此目前有越來越多的廠商推出了云存儲服務。

云存儲服務允許用戶遠程存儲數據并且方便地分享這些信息。盡管云存儲給用戶帶來了巨大的便利，但是存在一個關鍵的問題是如何降低故障節點的修復帶寬，緩解節點修復過程中網絡的阻塞狀況。

為了降低數據存儲成本，云服務商采用糾刪碼技術來降低數據存儲的冗余度。糾刪碼的工作原理，用戶的原始數據被平分成k個文件塊，通過線性編碼

生成n塊編碼數據，然后存儲在n個不同的節點，接收端通過獲取k(k′≥k)個可用的編碼數據，就可以重構出原始數據。對于MDS碼，k′＝k。因此，MDS碼是一類存儲效率非常高的編碼方案。通過引入糾刪碼技術，存儲成本得到了有效控制。MDS代碼在冗余和可靠性權衡方面是最優的。當節點發生故障時，傳統的修復方案是將k個節點的內容發送到新節點。新節點可以重建所有原始數據，并使用它來構造故障節點的內容。這種修復方案簡單，但在網絡中會產生k倍于故障節點存儲數據的通信量，進而導致網絡的阻塞。在故障節點修復過程中產生的通信量被稱為修復帶寬，而如何減少修復帶寬被稱為修復問題。在大規模分布式存儲系統中，節點發生故障非常頻繁。為了有效降低故障節點引發的網絡擁塞，基于網絡編碼的修復機制是必不可少的。

根據新節點的數據是否與故障節點的數據完全相同，可以把修復策略分為3種:

函數修復：新節點的數據不一定與故障節點的數據完全相同，只需要與存活節點聯合起來組成MDS碼即可。

精確修復：新節點的數據與故障節點的數據完全相同。

部分精確修復：前兩者修復方案的一個折中，它對系統節點進行精確修復，對校驗節點進行函數修復。

存儲系統采用的糾刪碼，一般情況下是(n，k)系統糾刪碼，即前k個節點的數據未經編碼，剩余(n-k)個節點的數據是經過線性編碼的。在系統維護過程中，保證系統碼編碼方案不變，非常重要。因為系統碼有利于減少數據重構過程的時間延遲和編碼方案維護過程中的工作量。因此，精確修復一直是學術界研究的重點。

網絡編碼是常規路由(存儲和轉發)方法的推廣。在常規路由中，網絡中的每個中間節點簡單地存儲和轉發所接收的信息。相反，網絡編碼允許中間節點通過對先前接收的輸入數據進行編碼來生成輸出數據。目前，有很多基于網絡編碼技術來構造低修復帶寬的編碼方案。這些編碼方案大都不實用。而且在實際選擇編碼方案時，除了考慮修復問題，還要考慮其它問題，例如怎樣優化編碼方案以使得編解碼的效率更高。設計一個對所有線性糾刪碼都適用的最優修復方案比直接設計一個編碼方案更具有實際意義。

因此，如何保證數據可靠存儲，如何選取編碼方案，以及如何設計高效的修復機制來保證數據的可靠存儲是十分重要的。經對現有技術文獻檢索發現，已有的云存儲系統比如HDFS，通過多副本技術來保證數據存儲可靠性，但是因為數據冗余度太高而帶來高存儲成本。其他采用了糾刪碼技術的云存儲系統比如Azure，采用了重構原始文件來修復故障節點，缺點是系統規模大時，故障節點的修復會導致網絡擁塞。