[發明專利]實現存儲空間動態均衡的方法、系統和裝置

有效

• 申請號: 201210122144.5
• 申請日: 2012-04-24
• 公開（公告）號: CN103379156A
• 公開（公告）日: 2013-10-30
• 發明（設計）人: 婁繼冰;李博;黃楚加
• 申請（專利權）人: 深圳市騰訊計算機系統有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 楊春香;宋志強

技術領域

本發明涉及數據存儲技術領域，具體涉及實現存儲空間動態均衡的方法、系統和裝置，特別地，涉及一種分布式存儲系統中實現存儲空間動態均衡的方法、系統和裝置。

背景技術

在互聯網數據存儲中，存儲空間分配均衡能力是體現存儲系統業務支撐能力的重要指標，它主要指分布式存儲系統集群中各個節點的物理存儲塊空間分配均衡以及數據熱度的均衡，影響著存儲系統整體的吞吐能力和數據定位的效率。目前，現有存儲空間分配均衡方法主要是分布式文件系統(HDFS：Hadoop?Distributed?File?System)中的空間均衡策略。

所謂HDFS，其用于提供高吞吐量來訪問應用程序的數據，一般適合有超大數據集的應用程序。HDFS是一個主從結構的體系，一個HDFS集群是由一個NameNode和若干個DataNode組成。其中，NameNode可以是一個主服務器，其用于存儲HDFS將一個文件分割成一個或多個數據塊的索引，通過NameNode，可以管理文件命名空間中的文件或目錄如打開，關閉，重命名等，以及確定數據塊索引與DataNode的映射；而DataNode則為從服務器，負責處理來自文件系統客戶的讀寫請求。

HDFS中數據塊的分配采用的空間均衡策略主要是：

1)臨近優先的原則。通過定義客戶端和DataNode的距離方法，優先分配離客戶端最近的DataNode，進一步在DataNode上隨機選擇分配數據塊。

2)存儲空間的重新調整。當某個DataNode的空閑空間小于某個臨界值的時候，啟動一個數據搬遷計劃，把數據搬遷到其它DataNode上，以使HDFS通過數據搬遷的方式重新達到存儲空間均衡。

但是，HDFS中的空間均衡策略沒有考慮讀寫負載對存儲系統性能的影響，容易造成某個DataNode負載過高的情況，并且，HDFS中的數據搬遷會占用大量帶寬，不適合敏感的數據業務。

發明內容

本發明提供了實現存儲空間動態均衡的方法和裝置，用于根據負載分配存儲空間，并避免由數據搬遷帶來的帶寬占用問題。

本發明提供的技術方案包括：

一種實現存儲空間動態均衡的方法，該方法應用于至少被劃分為兩級負載均衡單元的存儲系統中，其中一級負載均衡單元為數據塊Chunk主服務器master，另一級負載均衡單元為Chunk從服務器server，一個Chunk?master用于管理至少一個Chunk?server，一個Chunk?server用于管理至少一個Chunk；

該方法中，每一Chunk?master執行以下操作：

接收其管理的每一Chunk?server上報的該Chunk?server的負載，并記錄該上報的負載；

接收到客戶端發送的存儲空間請求后，依據該記錄的上報的負載，找出其所對應的Chunk?server上報的負載滿足負載要求，并且其剩余空間大小滿足所述存儲空間請求的所有Chunk，在該所有Chunk中進行選擇，返回選擇出的Chunk的標識至所述客戶端，由所述客戶端根據接收的Chunk標識上傳數據至該Chunk標識對應的Chunk。

一種實現存儲空間動態均衡的裝置，該裝置為存儲系統中的數據塊Chunk主服務器master，所述存儲系統還包括Chunk從服務器server，其中，所述Chunkmaster用于管理至少一個Chunk?server，一個Chunk?server用于管理至少一個Chunk；

所述Chunk?master包括：

記錄模塊，用于接收所述Chunk?master管理的每一Chunk?server上報的該Chunk?server的負載，并記錄該上報的負載；

處理模塊，用于接收到客戶端發送的存儲空間請求后，依據該記錄的上報的負載，找出其所對應的Chunk?server上報的負載滿足負載要求，并且其剩余空間大小滿足所述存儲空間請求的所有Chunk，在該所有Chunk中進行選擇，返回選擇出的Chunk的標識至所述客戶端，由所述客戶端根據接收的Chunk標識上傳數據至該Chunk標識對應的Chunk。

一種實現存儲空間動態均衡的裝置，該裝置為存儲系統中的數據塊Chunk從服務器server，一個Chunk?server用于管理至少一個Chunk；所述存儲系統還包括Chunk主服務器master，其中，所述Chunk?master用于管理至少一個Chunkserver；

所述Chunk?server包括：