[發明專利]一種基于數據覆蓋集的分布式運算集群動態能耗管理方法

有效

• 申請號: 201911033382.7
• 申請日: 2019-10-28
• 公開（公告）號: CN110850956B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 王培健;齊勇;侯迪;林錦煒;田真;李文濤;趙文嘉
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F1/329
• 分類號: G06F1/329;G06F16/182
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 賀小停

1.一種基于數據覆蓋集的分布式運算集群動態能耗管理方法，其特征在于，包括以下步驟：

步驟1，準備階段：在集群中劃分出若干數量的互不相同的數據覆蓋集；劃分時要求所有數據覆蓋集的并集涵蓋集群中的所有節點；

步驟2，工作階段：啟動集群時，選擇列表內的一個數據覆蓋集，并啟用其中的所有節點，在啟動完成后，除數據覆蓋集外，工作節點的數量依據需要動態調整；

步驟3，調整階段：在集群運行一段時間后，要更換使用的數據覆蓋集；切換間隔以天為單位，將其與集群的關機維護相結合，即選擇在集群定期維護時更換數據覆蓋集合；

步驟3中更換過程如下：

1)喚醒集群中尚在休眠中的節點，并同步數據，將喚醒的節點中的數據更新至最新版本；

2)從數據覆蓋集列表中選擇下一段時間使用的數據覆蓋集，選擇時，將列表中的所有數據覆蓋集與先前使用的集合作比較，分別計算每個數據覆蓋集與該集合的重疊部分的大小，并在重疊部分最小的數據覆蓋集中隨機選擇下一時間段內使用的數據覆蓋集；

3)根據歷史數據預估重新啟動集群時的服務需求，決定需要啟動的機器數量，并在選定的數據覆蓋集外選擇相應數量的額外機器；

4)在重新啟動集群時，改為啟動第2)步中選擇的數據覆蓋集中的節點和第3)步中選擇的額外工作節點；

步驟1中具體包括以下步驟：

1)假設集群中包含了S個機架，將每個機架均分為W個區域，并將得到的S*W個區域進行編號；

2)將每個數據覆蓋集的大小設定為n個區域，則每個數據覆蓋集包括的區域編號依次為(1～n)、(2～n+1)、(3～n+2)…(WS-1～WS,1～n-2)、(WS,1～n-1)；

3)完成劃分后，集群中將包含W*S個數據覆蓋集，且不同數據覆蓋集之間的最大重疊比例為1-1/n；

4)完成數據覆蓋集的劃分后，將結果保存到主節點中，供未來調度使用；

在選擇n時，使n不等于S；在劃分時，使單個數據覆蓋集的大小在集群整體的10％～30％之間；要求每個數據覆蓋集中都包含數據塊的一個副本，則每個數據塊副本數量的最小值為[WS/n]+1；

步驟2中調整方式如下：

1)首先提前測試單個服務器的任務上限，在運行時計算得到當前可用節點的總體服務能力；初始狀態下集群的服務能力取決于當前使用的數據覆蓋集的大小；

2)在運行中，如果主節點檢測到用戶對集群的需求增大，且超過了集群此時可用節點的負載能力，喚醒休眠中的節點；如果主節點檢測到用戶需求遠低于當前服務能力，減少工作節點，此時不可關閉數據覆蓋集中的節點；如果負載與需求相對均衡，則不需要調整工作節點數量；

3)在選擇啟用節點時，優先喚醒保存著當前用戶/應用所需數據塊數量較多的節點。