[發明專利]一種實現云存儲系統數據分布管理的方法及裝置

在審

• 申請號: 201410554245.9
• 申請日: 2014-10-17
• 公開（公告）號: CN104270458A
• 公開（公告）日: 2015-01-07
• 發明（設計）人: 于輝;李新虎;郭鋒
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F12/02
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王丹;李丹

技術領域

本發明涉及云存儲系統中存儲資源管理之技術，尤其涉及實現云存儲系統數據分布管理的方法及裝置。

背景技術

當前，云計算逐漸被行業認可，各種云存儲系統逐漸實現并付諸于實踐。在云存儲系統中，合理、高效地使用存儲設備資源，對于云存儲系統的整體高可用性和管理的有效性起著非常關鍵的作用。

大多數現有的云存儲系統其數據分布的策略單調、低效，存在著物理存儲資源調度不合理以及資源利用率低下的問題。例如，一方面有的云存儲系統的數據分布策略并未考慮系統特有的技術特點和應用需求，隨著系統節點不斷增加、規模不斷擴大的情況下，不能使得數據對象在系統內各個節點間均勻地分布，從而滿足存儲負載均衡的要求；另一方面，有的云存儲數據分布策略未能解決物理存儲資源調度不合理導致資源利用率低下的問題，即系統在海量的信息處理中不能高效地完成數據尋址，最大限度的減少平均響應時間，從而提高數據服務的吞吐量和系統整體性能。以上這些一直是困擾云存儲技術發展中的問題。

為了保證云存儲技術健壯地發展，使得云存儲系統內的存儲資源能夠被高效、合理地使用，需要提供實現云存儲數據分布管理的系統及其方法。

發明內容

本發明所要解決的技術問題是提供一種實現云存儲系統數據分布管理的方法及裝置，能夠使得云存儲系統內的存儲資源被高效、合理地使用。

為了解決上述技術問題，本發明提供了一種實現云存儲系統數據分布管理的方法，含有數據對象與存儲節點初始映射的流程，包括如下步驟：

將一個存儲空間的首尾地址相連，構成一個封閉的鏈形空間；

分別根據數據對象的集合特征計算將系統的所有數據對象散列到該鏈形空間中的鍵值，并依照每一鍵值映射相應的數據對象到該鏈形空間；分別根據存儲節點的位置特征計算將系統中所有存儲節點散列到該鏈形空間中的鍵值，并依照每一鍵值映射相應的存儲節點到該鏈形空間；

從一個數據對象的鍵值出發朝著一個固定方向遍歷該鏈形空間，直至遇到一個存儲節點的鍵值，則將該數據對象與該存儲節點通過各自的鍵值相互映射；接著按照相同的方式進行下一個數據對象與存儲節點的相互映射，直至完成所有數據對象與存儲節點的相互映射。

進一步地，該方法還含有數據對象與存儲節點重新映射的流程，包括如下步驟：

當監測到有新存儲節點要增加到云存儲系統時，根據該存儲節點的位置特征計算將該新增存儲節點散列到該鏈形空間中的鍵值，并依照該鍵值映射該新增存儲節點到該鏈形空間；

和/或當監測到有存儲節點要從云存儲系統移除時，從該鏈形空間中移除該存儲節點的映射；

在該鏈形空間從新增或移除的存儲節點的鍵值處沿與初始映射流程中映射數據對象的方向的反方向遍歷到第一個原存儲節點的鍵值處，確定兩個鍵值處之間的數據對象的鍵值，并重新將該兩個鍵值處之間的部分或全部數據對象與新增存儲節點或遍歷到的原存儲節點通過各自的鍵值相互映射。

進一步地，采用映射函數F根據數據對象的集合特征計算將系統的所有數據對象散列到該鏈形空間中的鍵值，以及采用該映射函數F根據存儲節點的位置特征計算將系統中所有存儲節點或將新增存儲節點散列到該鏈形空間中的鍵值；數據對象的集合特征包括數據塊的標識、數據塊大小及數據類型中的一種或多種，存儲節點的位置特征包括存儲節點的IP地址、介質訪問控制地址以及機器名中的一種或多種；映射函數F的內容如下：

在映射函數中，*str為指向輸入的特征字符串的指針，BestDivert為最佳散列值，m為存儲空間的地址位數。

為了解決上述技術問題，本發明提供了一種實現云存儲系統數據分布管理的裝置，包括依次連接的存儲空間管理模塊、數據對象映射模塊、數據和節點互映射模塊以及存儲節點映射模塊，其中：

存儲空間管理模塊，用于將一個存儲空間的首尾地址相連，構成一個封閉的鏈形空間；

數據對象映射模塊，用于分別根據數據對象的集合特征計算將系統的所有數據對象散列到所述鏈形空間中的鍵值，并依照每一鍵值映射相應的數據對象到該鏈形空間；

存儲節點映射模塊還與存儲空間管理模塊連接，用于分別根據存儲節點的位置特征計算將系統中所有存儲節點散列到所述鏈形空間中的鍵值，并依照每一鍵值映射相應的存儲節點到該鏈形空間；