[發明專利]集群負載預測方法及分布式集群管理系統

有效

• 申請號: 201210005401.7
• 申請日: 2012-01-09
• 公開（公告）號: CN102624865A
• 公開（公告）日: 2012-08-01
• 發明（設計）人: 王總輝;張濤;王云霄;陳建海;陳文智
• 申請（專利權）人: 浙江大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種集群負載預測方法，應用于分布式集群系統，包括步驟：

在系統中設置預測算法存儲單元與算法池；

預先在算法池內儲存能夠對集群負載進行預測的預測算法及其相關參數信息，并對算法池內的預測算法及其相關參數信息實時更新；

接收外部寫入的用戶預測需求信息，解析該用戶預測需求信息并將該信息存儲于系統中；

將已解析的用戶預測需求信息逐一地與算法池內存儲的預測算法進行匹配，選擇出匹配程度最大的預測算法并將該預測算法及其相關參數信息更新至預測算法存儲單元；

獲取系統提供的負載數據；

基于預測算法存儲單元內的預測算法及其相關參數信息建立負載預測模型，利用負載數據訓練負載預測模型；

使用訓練好的負載預測模型對集群負載進行預測，得到預測結果。

2.根據權利要求1所述的集群負載預測方法，其特征在于，所述的用戶預測需求信息包括用戶所需的預測精度信息、預測規律類型信息、預測周期信息以及預測算法特性信息。

3.根據權利要求1所述的集群負載預測方法，其特征在于，所述的接收外部寫入的用戶預測需求信息中，接收到的用戶預測需求信息是以鍵-值對的方式或以XML格式存儲于系統的配置文件中。

4.根據權利要求3所述的集群負載預測方法，其特征在于，所述的解析該用戶預測需求信息并將該信息存儲于系統中，包括：

對以鍵-值對的方式存儲于配置文件中的用戶預測需求信息，從配置文件中逐條讀取所有的用戶預測需求信息并判斷讀取的信息是否合法：

若讀取的信息為合法輸入，則按鍵-值分隔符對該信息進行分割并將分割后的鍵信息和值信息分別存儲于系統中；

若讀入的信息為非法輸入則系統報錯；

如此反復，直到配置文件的末尾；

對以XML格式存儲于配置文件中的用戶預測需求信息，首先解析用戶預測需求信息的數據根節點，并將根節點及其屬性信息存儲于系統中，再以循環遍歷的方式解析用戶預測需求信息的子節點及其屬性信息，并存儲至系統中；以此類推，直到所有的用戶預測需求信息的節點信息都已解析完畢。

5.根據權利要求1所述的集群負載預測方法，其特征在于，將已解析的用戶預測需求信息逐一地與算法池內存儲的預測算法進行匹配，選擇出匹配程度最大的預測算法并將該預測算法及其相關參數信息更新至預測算法存儲單元，包括步驟：

讀取第一條用戶預測需求信息，并以此為關鍵詞搜尋算法池內匹配該信息的預測算法；當遇到第一個與該信息適配的預測算法時，停止搜索；

針對該預測算法匹配下一條用戶預測需求信息；

若該預測算法對所有的用戶預測需求信息逐一適配，將該預測算法及其相關參數信息更新至預測算法儲存單元；

若該預測算法對所有的用戶預測需求信息不能逐一適配，則將該預測算法及其相關參數信息備份于系統中，并對算法池內未經搜索的預測算法重復上述步驟；

若算法池內所有的預測算法均不能對所有的用戶預測需求逐一適配，選擇備份于系統中的預測算法中與所有的用戶預測需求信息最大匹配者，并將該預測算法及其相關參數信息更新至預測算法儲存單元。

6.一種分布式集群管理系統，包括集群調度模塊、負載監控模塊、負載預測模塊以及決策實施模塊，其特征在于，所述的負載預測模塊包括配置文件、算法控制器以及算法執行器；

所述的集群調度模塊，將外部輸入的用戶預測需求信息存儲于配置文件；

所述的算法控制器，包括存儲能夠對集群負載進行預測的預測算法及其相關參數信息的算法池；所述的算法控制器對算法池內的預測算法及其相關參數信息實時更新，并解析配置文件中的用戶預測需求信息；將已解析的用戶預測需求信息逐一地與算法池內儲存的預測算法進行匹配，選擇匹配程度最大的預測算法，并將該預測算法及其相關參數信息發送至算法執行器；

所述的算法執行器，接收預測算法及其相關參數信息，并請求負載監控模塊或外部設備監測到的負載數據；根據該預測算法及其相關參數信息建立負載預測模型，利用請求到的負載數據訓練負載預測模型；使用訓練好的負載預測模型對集群負載進行預測，并將得到預測結果返回至集群調度模塊；

所述的集群調度模塊，接收該預測結果并將該預測結果作為調度決策的參考，輸出調度決策至決策實施模塊；

所述的決策實施模塊，接收該調度決策，根據系統所處的實際物理環境執行調度決策。