[發明專利]基于自學習負載預測的集群按需啟動方法

有效

• 申請號: 201210040945.7
• 申請日: 2012-02-23
• 公開（公告）號: CN102622273A
• 公開（公告）日: 2012-08-01
• 發明（設計）人: 吳慶波;譚郁松;湯慧明;戴華東;楊沙洲;任怡;劉曉健;易曉東
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/46
• 代理公司: 湖南兆弘專利事務所 43008
• 代理人: 趙洪;周長清

技術領域

本發明涉及計算機集群系統，尤其涉及集群系統的功耗管理方法，特指一種集群按需啟動方法。

背景技術

如圖1所示，集群系統由計算節點、管理節點和互聯網絡組成。其中，計算節點用于處理任務負載；管理節點監控并控制計算節點的狀態；互聯網絡將計算節點和管理節點互聯在一起。集群系統具有性價比高、性能穩定和維護簡單等特點，因此得到了廣泛的應用。

在實際使用中，集群的利用率偏低。不僅昂貴的硬件設備沒有得到很好的利用，而且還會產生額外的功耗浪費。因而，近年來，集群的功耗管理越來越受到重視。最常見的降低計算機系統功耗的方法是將不使用的部件置于低功耗狀態，在需要的時候就將這些部件的狀態恢復正常狀態。功耗管理算法主要是決定什么時間，對何種部件進行狀態調整。

計算機的高級配置和電源接口由英特爾、微軟和東芝等公司開發，該接口定義了CPU和整個計算機的多種功耗狀態。用戶或軟件可以通過該接口調整計算機內各部件的功耗狀態甚至整個計算機系統的休眠狀態。負載集中處理技術將負載集中到少量的計算節點上運行，而將空閑的計算機節點休眠和關閉的方法能降低整個集群系統的功耗。具體的講，負載集中處理技術根據負載情況分配相應的計算資源，提高了集群系統資源利用率，減少了資源浪費。現有基于負載集中處理技術的算法主要包括以下幾種：

節點層次的功耗管理以DVFS調度為主，可以分為按時間片的策略和按任務的策略。按時間片的策略以CPU利用率作為調節頻率的依據，該策略不考慮程序的特征，簡單使用。例如Past算法簡單的以上一時間片的CPU利用率作為當前時間片的利用率，在當前利用率超過上限值時提高頻率，在低于下限值時降低頻率，該算法在利用率變化平滑時效果較好，但在利用率不平滑時，頻率會出現抖動。因此Chan等人提出了AGED_AVERAGES策略，該策略通過歷史信息以加權求和的方法求出當前時間片的利用率，并以此作為調節頻率的依據。按時間片的策略最大的不足是調頻的間接性，因此效率不是很高。

按任務的策略是根據任務的特征調節頻率，該策略需要考慮CPU時間和任務完成時限，只要滿足時限，就認為是滿足了性能要求，因此該策略主要應用于實時任務。又如Pace策略，該策略假設速率連續可調，即假設速度隨時間平滑變化。但是CPU速率不可能連續可調，所以通過在一個任務執行周期內分階段設置頻率以達到次優化的目標。該策略最大的缺點是對作業不透明，需要了解任務的特征，且該策略需要假設每個節點上只運行一個作業，否則，各個作業的最優頻率會相互沖突，影響調頻的節能效果。

Elnozahy等出了將VOVO(Vary-On?Vary-Off)方法和DVFS方法相結合的集群功耗管理方法。有文獻在同構集群上給出了LAOVS(Load-Aware?On-Off?with?independent?Voltage?Scaling)方法，在給定負載下，該方法通過一個數據表離線決定需要的最優節點數，在本地節點層次采用未優化的時間片DVFS技術。該方法雖然將集群層次和節點層次結合起來，但是，該方法需要事先通過實驗建立一個數據表，給出負載與節點數目之間的關系，這在實際應用中難以滿足。有文獻在實時網絡服務器集群上通過混合整形規劃的方法決定啟動的節點數目以及每個節點上CPU的頻率，使得整個集群的功耗最小。但是該方法背后復雜的數學計算帶來了巨大的開銷，因此決策顯得太慢。

目前，也有很多相關研究針對于作業負載預測。Bradley等提出了短期和長期負載預測功耗管理算法，這兩種算法預測作業的負載并根據負載結果提供相應的資源。Chen等研究了網絡流模型，并計算出需要的計算資源。但是，上述預測方法的精度不能隨著程序的運行而提高。

發明內容

本發明所要解決的技術問題是：針對現有技術存在的問題，本發明提供一種可在不影響任務性能的前提下降低整個集群的功耗水平的可自學習的基于自學習負載預測的集群按需啟動方法。

為解決上述技術問題，本發明采用以下技術方案：

一種基于自學習負載預測的集群按需啟動方法，包括以下步驟：

(1)任務接收：管理節點接收來自用戶的任務；

(2)負載預測：管理節點根據歷史負載信息，對所述任務的負載進行預測；

(3)按需啟動：管理節點根據預測得到的任務負載，計算該任務部署到任一計算節點后增加的CPU利用率；在計算節點中查找并選擇一輕載的計算節點；若未找到，則選擇一休眠的計算節點并喚醒；將所述任務部署到被選中的計算節點上；