[發明專利]一種HDFS中面向視頻的負載均衡方法

有效

• 申請號: 201510021824.1
• 申請日: 2015-01-16
• 公開（公告）號: CN104539730B
• 公開（公告）日: 2018-01-02
• 發明（設計）人: 尹建偉;黃曉成;鄧水光;李瑩;吳健;吳朝暉
• 申請（專利權）人: 浙江大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 杭州天勤知識產權代理有限公司33224
• 代理人: 陳升華

1.一種HDFS中面向視頻的負載均衡方法，包括如下步驟：

(1)HDFS中的數據節點通過計算得到自身的負載信息，主控節點收集各數據節點的負載信息；

所述的負載信息包括磁盤大小、磁盤使用率、帶寬資源總量、靜態帶寬資源消耗量以及單位靜態帶寬資源消耗量；

數據節點計算得到自身負載信息的具體實現過程如下：

1.1數據節點拉取自身的數據塊報告；

1.2數據節點對所述的數據塊報告進行處理：根據數據塊報告中數據塊ID從主控節點提取其數據塊對應存儲文件的文件ID和最近修改時間；數據節點根據文件ID讀取對應的文件進而分析其碼率；

1.3數據節點根據碼率和最近修改時間通過以下公式計算出自身的靜態帶寬資源消耗量：數據節點的靜態帶寬資源消耗量等于數據節點內所有數據塊靜態帶寬資源消耗量的總和，數據塊的靜態帶寬資源消耗量＝數據塊所對應存儲文件的碼率*exp((預設的活躍時間周期-文件活躍時間)/活躍時間周期)；其中，文件活躍時間＝當前時間-最近修改時間；

1.4數據節點根據自身的靜態帶寬資源消耗量和帶寬資源總量通過以下公式計算出自身的單位靜態帶寬資源消耗量：單位靜態帶寬資源消耗量＝靜態帶寬資源消耗量/帶寬資源總量；

(2)由負載均衡器從主控節點索取所述的負載信息并接收用戶輸入的操作指令，進而根據操作指令和負載信息建立負載均衡方案；

(3)由調度器根據負載均衡方案控制各數據節點對節點內的數據塊進行遷移，以實現負載均衡。

2.根據權利要求1所述的負載均衡方法，其特征在于：所述的步驟(3)中調度器根據負載均衡方案控制各數據節點對節點內的數據塊進行遷移的具體實現過程如下：

5.1對于移出數據塊的節點，對該節點的所有數據塊按數據塊靜態帶寬資源消耗量與數據塊大小的比值從小到大排列；

5.2對于遷移的第i個數據塊，i為奇數；從數據塊隊列中任取一數據塊，判斷該數據塊的信息是否符合遷移任務的要求：若是，則遷移該數據塊并更新遷移任務；若否，則判斷該數據塊的下一個數據塊；

對于遷移的第j個數據塊，j為偶數；從數據塊隊列中找出第一個數據塊靜態帶寬資源消耗量與數據塊磁盤使用量比值大于等于靜態帶寬資源消耗量遷移大小與磁盤使用量遷移大小比值的數據塊，判斷該數據塊的信息是否符合遷移任務的要求：若是，則遷移該數據塊并更新遷移任務；若否，則判斷該數據塊的下一個數據塊。