[發明專利]一種基于HDFS的動態副本管理方法

在審

• 申請號: 201310576782.9
• 申請日: 2013-11-19
• 公開（公告）號: CN103631894A
• 公開（公告）日: 2014-03-12
• 發明（設計）人: 孟祥飛;孫志云;吳楠
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于HDFS的動態副本管理方法，包括副本放置策略、動態副本創建策略和動態副本刪除策略，其特征在于：所述副本放置策略包括主副本缺省副本的放置策略以及其他副本的放置策略，是一種主動調平的策略，在副本創建開始充分考慮負載平衡的問題，主動地將副本放置在負載最輕的位置。

2.根據權利要求1所述的一種基于HDFS的動態副本管理方法，其特征在于：副本放置策略中，主副本以及缺省副本放置策略為：每個?HDFS?中的數據塊，在文件被寫入文件系統時，默認1?個主副本和兩個缺省副本，其中主副本和其中一個缺省副本保存在本地機架，另一個缺省副本放在除本地機架外其他任意一個機架上。

3.根據權利要求2所述的一種基于HDFS的動態副本管理方法，其特征在于：機架內機器的選擇有兩個參數指標：

?已存儲數據塊多少

?cpu?處理性能

其中，?設第個i機器存儲數據塊的數目為N_i，cpu?處理性能為CA_i，設變量??其中，k₁、k₂?為常數系數，在本地機架算出所有節點的?P?值，選擇?P?值最小的兩臺機器創建主副本和其中一個缺省副本，在遠程機架算出所有節點的?P?值，選擇?P?值最小的一臺機器創建另外一個缺省副本，選擇的過程中跳過已經存在本數據塊的副本的機器；同時檢測空間大小，跳過空間不足以保存副本的機器。

4.根據權利要求1所述的一種基于HDFS的動態副本管理方法，其特征在于：所述副本放置策略中，?其他副本是根據用戶對文件的歷史訪問記錄，選擇訪問次數超過設定閾值的熱點數據對其創建的副本，具有動態創建的特性，放置策略為：其他副本的放置首先找出用戶訪問最多的機架，然后選擇一臺最合適的機器，此策略稱為最佳機架策略，能將數據文件復制到最需要的地方，其中，每個機器都保存著每個文件的歷史訪問記錄，記錄中包括每個文件被請求的次數，每隔一定時間，檢查歷史訪問記錄查找是否有對某個文件的請求次數超過了事先指定的閾值，如果存在這樣的文件，那么就計算總訪問次數最多的那個機架，此機架被稱為最佳機架，系統在此機架上選擇負載最輕的節點創建該文件的副本，并清除關于該文件的歷史訪問記錄，重新進行統計。

5.根據權利要求1所述的一種基于HDFS的動態副本管理方法，其特征在于：所述動態副本創建策略為一種基于歷史訪問記錄的副本創建策略，通過對某個數據前?N?次訪問記錄來判斷它是否為熱點數據，并對其創建副本。

6.根據權利要求5所述的一種基于HDFS的動態副本管理方法，其特征在于：創建副本的步驟如下：

1）計算前次的動態訪問特征函數

其中：??NA為文件訪問次數，NA(i)為第i次的訪問次數，?NF為訪問次數閾值，每個時間間隔的歷史記錄為h，它的總個數是R?個，總的歷史紀錄為H，假設對當前時間之前的前N?次歷史記錄進行分析，

2）將每個歷史記錄h根據P值按降序排列，為P設定一個閾值為

MP為可以被復制熱點數據文件中P??值最小的文件，刪去值小于?MP?后的所有歷史記錄；

3）當H非空：

彈出記錄h；

對h記錄的所對應的文件創建副本；

令P(h)=P(h)-MP?，如果P(h)>MP?，則將?h?插入H?中，重新排序。

7.根據權利要求1-6任一所述的一種基于HDFS的動態副本管理方法，其特征在于：所述副本刪除策略，采用簡化的基于歷史訪問記錄的動態副本刪除策略，若一個文件除了主副本和缺省副本外，還有其他副本，并且在?N?個周期內，文件的訪問次數小于一個閾值?NL，則刪除掉它的一個其他副本。

8.根據上述任一權利要求所述的一種動態副本管理系統，其特征在于：由物理層、執行層、策略層和應用層組成，物理層主要由存儲在?DataNode?上的物理副本數據塊、邏輯副本數據和存儲在NameNode?上的副本元數據構成，為數據訪問提供數據源；執行層包括副本節點選擇模塊、副本選擇模塊及副本校驗模塊；通過創建足夠多的副本數目實現系統的高可用性的策略目標；通過優化選擇訪問物理副本節點、副本的合理放置策略、適時合理的刪除副本，共同實現性能優化的策略目標；策略層包括寫文件時副本放置策略和副本增刪策略，寫文件時副本放置策略由節點選擇模塊和副本校驗模塊組成，副本增刪策略由副本節點選擇模塊、副本選擇模塊和副本校驗模塊組成；用于為應用層提供透明的副本放置和副本增刪服務，應用層主要是指系統所跑的應用程序及用戶的實際訪問應用。