[發明專利]一種用于數據中心分布式文件存儲的節能方法

有效

• 申請號: 201610016441.X
• 申請日: 2016-01-11
• 公開（公告）號: CN105681052B
• 公開（公告）日: 2018-11-27
• 發明（設計）人: 楊挺;徐明玉;趙睿;盆海波;尚昆;武金成
• 申請（專利權）人: 天津大學
• 主分類號: H04L12/12
• 分類號: H04L12/12;H04L29/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種用于數據中心分布式文件存儲的節能方法，其特征在于，所述節能方法包括以下步驟：

基于分布式文件存儲的機架感知存儲策略，將文件數據塊及其副本、與存儲的數據節點之間的關系用超圖表示出來；

利用超圖的關聯矩陣清晰地表示超邊和節點之間的關系；

提出根據分布式集群文件的訪問特點，在滿足低時延的應用訪問要求前提下，不同文件具有的活躍副本數目

在滿足數據塊可用的前提下，依據文件被訪問的頻度，獲取可變覆蓋橫貫模型；

根據可變覆蓋的橫貫模型確定最大關閉數據節點DataNode數目，實現數據中心分布式文件存儲節能；

所述可變覆蓋的橫貫模型具體為：

或1i＝1,2,…,n

其中，表示第s_i個機架上的第i個服務器的狀態；0表示服務器處于休眠狀態，1表示服務器處于活躍狀態；a_ij表示節點關聯矩陣里的元素；k_l為文件的活動系數；N_l為文件l所包含的數據塊的個數；為服務器節點的頂點度之和；n表示服務器的個數；m表示超邊的個數，即數據塊的種類；w表示文件的個數。

2.根據權利要求1所述的一種用于數據中心分布式文件存儲的節能方法，其特征在于，所述將文件數據塊及其副本、與存儲數據的節點之間的關系用超圖表示出來具體為：

數據節點DataNode作為超圖的頂點，以每種數據塊作為超邊，數據塊和數據節點間復雜的多對多關系通過超圖表示出來。

3.根據權利要求1所述的一種用于數據中心分布式文件存儲的節能方法，其特征在于，所述活躍副本數目具體為：

處于活躍狀態服務器上的數據塊副本個數，該參數也是所求的數據節點的子集與每條超邊的交點個數。

4.根據權利要求1所述的一種用于數據中心分布式文件存儲的節能方法，其特征在于，所述根據可變覆蓋的橫貫模型確定最大關閉數據節點DataNode數目具體為：

在滿足文件的活躍副本數目k_l的情況下，使開啟服務器的個數最少，即值最小；

當存在開啟服務器的個數相同、但不同狀態向量解集時，從中選取頂點度之和最小的，即值最小的；

當存在橫貫集等秩、且存儲的總數據塊個數相同的解集時，考慮選擇活躍狀態服務器分布的機架數量多的解集，即值最大的。

5.根據權利要求1所述的一種用于數據中心分布式文件存儲的節能方法，其特征在于，所述節能方法還包括：

1)負載均衡度的評價：負載均衡度表示的是服務器集群中所有服務器負載的總偏差和總負載的比值，根據服務器實際負載與負載平均值差的絕對值表示負載偏差，計算負載均衡度，即其中B_L表示HDFS集群的負載均衡度，s_i表示第i個服務器的負載率，表示平均負載率；2)對分布式文件集群進行節能評價；

一個DataNode節點的功耗為：

P_server＝σ_e+μ_es^a

式中，σ_e為空閑功耗或者靜態功耗，s為服務器的負載率，與服務器的時鐘頻率成正比，μ_e和a為常數；

整個HDFS集群節約的功耗為：

其中，s₁為進行節能處理前的服務器的負載率，s₂為進行節能處理后處于活躍狀態的服務器的負載率，一般情況下有s₁＜s₂；n為HDFS集群中DataNode的個數；q為休眠的DataNode的個數。