[發明專利]一種基于數據覆蓋集的分布式運算集群動態能耗管理方法

有效

• 申請號: 201911033382.7
• 申請日: 2019-10-28
• 公開（公告）號: CN110850956B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 王培健;齊勇;侯迪;林錦煒;田真;李文濤;趙文嘉
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F1/329
• 分類號: G06F1/329;G06F16/182
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 賀小停

一種基于數據覆蓋集的分布式運算集群動態能耗管理方法，包括以下步驟：步驟1，準備階段：在集群中劃分出若干數量的互不相同的數據覆蓋集；劃分時要求所有數據覆蓋集的并集應涵蓋集群中的所有節點；步驟2，工作階段：啟動集群時，選擇列表內的一個數據覆蓋集，并啟用其中的所有節點，在啟動完成后，除數據覆蓋集外，工作節點的數量依據需要動態調整；步驟3，調整階段：在集群運行一段時間后，要更換使用的數據覆蓋集；切換間隔應以天為單位，將其與集群的關機維護相結合，即選擇在集群定期維護時更換數據覆蓋集合。本發明動態的調整工作節點數量，可以在保證數據可用性的情況下，降低能耗，減少設備損耗，從而大幅度降低運行成本。

技術領域

本發明屬于數據中心能耗管理領域，特別涉及一種基于數據覆蓋集的分布式運算集群動態能耗管理方法。

背景技術

諸如雅虎公司的Hadoop一類的分布式運算框架可對海量的數據進行有效處理。Hadoop的實現依賴于具有高容錯性的分布式文件系統(HDFS)。HDFS被設計用來部署在大量的廉價硬件上，這些硬件上分布著數據塊的多個副本，為用戶提供快速的數據訪問并可在部分機器故障時，通過副本繼續提供服務。

HDFS采用主/從節點結構，典型架構如圖1所示。每個集群包含一個主節點和多個數據節點，主節點負責管理文件系統命名空間以及用戶的文件訪問；存儲著數據塊的數據節點分布在不同的機架上，提供直接的數據讀取和寫入服務。

在HDFS中，文件通常被切分成一定大小的數據塊，并分布在多個數據節點中，主節點保存著文件數據塊的分布信息，用戶向主節點發出基于文件的操作(打開、關閉、重命名或刪除等)請求，在涉及到文件數據的讀取和寫入時，主節點返回目標數據塊在集群中的位置，用戶可直接和對應數據節點交互完成操作。

在分布式運算集群中，為了保證數據的可用性，通常需要同時運行足夠數量的數據節點，部分節點雖然沒有計算任務，但是卻因此無法進入休眠。

按傳統方法，由于數據塊存放節點的選擇沒有考慮數據可用性的因素，數據塊分布隨機性高，難以確定保證數據可用性所需的節點集合，導致大量節點無法進入休眠。

為降低集群能耗，減少啟用機器的數量，可改用“數據覆蓋集”來確保數據可用性，也就是保證一個集群子集的運行，該子集至少包含了所有數據塊的一個副本。采用數據覆蓋集后，就能依據性能需求靈活地啟用/關閉集合外的節點，而不必顧慮數據的可用性。

但在目前的技術實踐中，采用數據覆蓋集時，通常集群內僅建立一個數據覆蓋集，此時，集群的可用性就對數據覆蓋集內機器的可靠性有了極大的依賴。同時，數據覆蓋集的持續工作也會導致機器壽命/性能下降較快。

發明內容

本發明的目的在于提供一種基于數據覆蓋集的分布式運算集群動態能耗管理方法，以解決上述問題。

為實現上述目的，本發明采用以下技術方案：

一種基于數據覆蓋集的分布式運算集群動態能耗管理方法，包括以下步驟：

步驟1，準備階段：在集群中劃分出若干數量的互不相同的數據覆蓋集；劃分時要求所有數據覆蓋集的并集應涵蓋集群中的所有節點；

步驟2，工作階段：啟動集群時，選擇列表內的一個數據覆蓋集，并啟用其中的所有節點，在啟動完成后，除數據覆蓋集外，工作節點的數量依據需要動態調整；

步驟3，調整階段：在集群運行一段時間后，要更換使用的數據覆蓋集；切換間隔應以天為單位，將其與集群的關機維護相結合，即選擇在集群定期維護時更換數據覆蓋集合。

進一步的，步驟1中具體包括以下步驟：

1)假設集群中包含了S個機架，將每個機架均分為W個區域，并將得到的S*W個區域進行編號；