[發明專利]一種高可用云存儲方法

有效

• 申請號: 201410040850.4
• 申請日: 2014-01-28
• 公開（公告）號: CN103810061B
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 吳慶濤;張明川;鄭瑞娟;魏汪洋;張旭龍;汪興;蔡曉剛;李晨
• 申請（專利權）人: 河南科技大學
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 洛陽公信知識產權事務所(普通合伙)41120
• 代理人: 羅民健

技術領域

本發明涉及云存儲技術領域中的分布式數據冗余備份技術，特別涉及一種云存儲方法、編碼存儲方法、資源快速定位方法及其系統。

背景技術

隨著云計算的發展，越來越多的企業和個人用戶開始考慮向云端轉移。將計算外包給云服務商，降低自身的基礎設施購置，靈活的伸縮需求，減輕了IT初期配置以及后期維護的開銷，只需要按需向云服務提供商付費即可，為企業的發展注入了新的動力。

云計算盛行于世界各地，其中最重要的并且受歡迎的云服務是云存儲服務，例如亞馬遜的S3和微軟的Azure存儲服務。云存儲向用戶提供數據存儲服務，越來越多的數據將會被存放在云上，而數據的容災備份需要大量的冗余存儲空間。

云存儲是伴隨著云計算而發展起來的，專注于存儲及服務的理念，云存儲服務商為用戶提供基于互聯網的在線存儲服務，用戶不必擔心存儲空間的大小，存儲設備的類型，以及存儲的位置，只需要按需付費就可以獲得幾乎無限大的存儲空間。

隨著存儲需求的迅速增長，云計算模式下的存儲系統需要的存儲空間越來越大。分布式存儲系統將單獨的存儲資源整合成一個統一的管理空間，通過分布式的管理方式實現的一個大容量，高可用的存儲系統。分布式的存儲系統具有良好的可伸縮性和并行支持高容量的需求。除了可伸縮性外，云存儲系統還具備一定的容錯機制，與使用同樣的可靠性級別的設備相比云存儲系統的成本要少得多。一個云存儲系統主要包括兩個組成部分：存儲系統的客戶端以及存儲系統的服務器端。

存儲客戶端主要提供計算能力接口和連接服務器端節點上的應用程序接口。這些應用程序可能位于虛擬機內。而存儲服務器端主要是負責每個服務器內的資源分配，調度和管理。在客戶端中主要的核心是云存儲控制器，它作為與所有應用程序的接口供給存儲需求。

在云計算中，由于其構成是大批量的X86廉價機，因此組件發生故障是很正常的事，而不屬于異常。要保障用戶能夠對數據的隨時隨地訪問，數據冗余備份至關重要。冗余備份技術保障了數據的可用性，在發生錯誤操作時可以進行快速恢復，最簡單的方式是將數據文件拷貝多份分別進行存儲。其數據控制過程主要有以下三點：1），用戶與主節點進行通信查詢所需的數據位置，或者自己創建一個新的數據交給主節點，由主節點進行處理，2），主節點將所有副本的信息響應給用戶，這時用戶就可以將數據推送到所有的副本。3），用戶只對主副本進行操作，由主副本對其他副本進行同步，并將最終信息反饋給用戶。

現有方案缺陷是：

1、危險性高，網絡通信高負載

為文件的每一個數據塊都設置三個甚至多個副本的方法在存儲文件時，簡單的為每個文件的數據塊進行復制備份。這種分布式存儲的方法雖然實現簡單，但是大大增加了數據傳送的任務量，對通信鏈路產生高負荷要求。當一個數據塊的多個副本同時受到破壞時，整個文件就失去了完整性，無法再進行恢復。用戶的多處備份數據之間的同步通信也會產生大量的網絡請求，數據量大時，會造成網絡擁塞等問題。

2、對存儲空間造成浪費

根據目前的多備份冗余方案，存儲空間的有效利用率最高為33.3%（三副本）。而隨著海量數據的增加，數據存儲空間將成為云存儲系統的一大瓶頸。如果能夠提高存儲空間的利用率，同時保證文件的高可用性，將大幅度降低用戶的單位存儲成本消耗。

3、快速資源定位方法不夠理想

現有技術中，云存儲資源定位對單個數據塊的處理不夠理想。當用戶取回存儲數據時需要找到一份完整的文件副本，因此需要對每個數據塊進行查找，而每一次的資源定位都是從主節點到存儲節點的逐級檢索，它的時間復雜度比較高導致響應時間比較長，因此在快速定位方面不夠理想。

發明內容

本發明針對現有的云存儲方法存儲空間利用率低、冗余量大、網絡通信高負載、對服務響應時間長等問題，提出了基于Vandermonde矩陣的冗余編碼方法以及基于Chord環的資源快速定位方法，結合云存儲的具體操作過程實現具備高可用性，低冗余度以及快速響應的云存儲方案。