[發明專利]集群負載預測方法及分布式集群管理系統

有效

• 申請號: 201210005401.7
• 申請日: 2012-01-09
• 公開（公告）號: CN102624865A
• 公開（公告）日: 2012-08-01
• 發明（設計）人: 王總輝;張濤;王云霄;陳建海;陳文智
• 申請（專利權）人: 浙江大學
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

技術領域

本發明涉及分布式集群系統，特別涉及一種集群負載預測方法及其對應的分布式集群管理系統。

背景技術

隨著當今社會計算機技術的不斷發展，分布式集群愈來愈廣泛地應用于不同領域。然而，隨著集群的規模的不斷增大，傳統的集群管理方法已不能滿足規模集群的需求，因此，分布式大規模集群管理調度技術應用而生，即分布式集群管理系統。根據該系統是否對集群負載進行預測，其工作流程可分為兩種類型：

第一種類型，系統對集群負載未進行預測：集群調度模塊直接從負載監控模塊讀取負載數據，然后對數據進行解析，做出調度決策，再將調度決策發送到決策實施模塊，決策實施模塊根據其所處的實際物理環境對決策進行實施執行；

第二種類型，系統對集群負載進行預測：集群調度模塊根據實際情況向負載預測模塊發送用戶預測需求信息，這種需求信息可以是人為配置的，也可以是系統根據集群當前的負載情況做出的實時需求，負載預測模塊根據預測需求使用預測算法對負載進行預測，給出預測后的負載數據，發送到集群調度模塊，集群調度模塊分析負載數據，做出調度決策，發送到決策實施模塊進行實際的實施執行。

在大規模分布式虛擬化集群資源調度領域中，由于業務的差異性造成對集群資源的使用不均衡，所以必須在間隔一定的時間內對集群整體的資源做一次調度，使集群中物理資源的使用達到一個均衡的狀態；或通過調度決策使集群中的物理資源利用率提高，同時減少一些不必要的物理資源，以達到節能減排的目的。在調度的過程中，若采用如前所述的不對負載進行預測的系統時，由于集群規模大，做一次調度決策以及決策實施的時間會比較長，使得監控系統監控到的集群的實際負載數據相對滯后，系統做出的調度決策也會出現滯后的情況，不能體現實時的負載特性。據此，調度決策不能用當前的負載作為決策依據。

現有技術一種能夠對集群負載進行預測分布式集群管理系統主要分為四個模塊：數據監控模塊、負載預測模塊、集群調度模塊以及決策實施模塊。負載預測模塊內的負載預測過程基本分為預測模型的訓練階段和預測階段。在預測模型的訓練階段，通過對集群負載監控模塊獲得的歷史數據進行分析，使用滿足需求的預測算法建立學習模型，來挖掘資源數據變化的規律性，訓練出一種預測模型；在預測階段，在給定單位時間粒度獲取監測數據，利用學習到的預測模型預測出下一時間段的性能資源數據，為資源調度決策提供基本依據。

目前的集群負載預測模型根據不同的原理主要有基于時間序列的指數加權移動平均EWMA算法和基于集群負載規律性的神經網絡算法BP-NN，以及一些其他的預測算法。這些算法都是針對不同的負載規律進行預測，且各自具有不同優缺點。由于同一集群環境在不同的應用場景下，業務對集群的資源需求有很大差異，會呈現出不同的業務規律性，而預測這些不同規律性的集群負載需要采用不同的預測算法。現有技術對上述不同算法的建立是針對每一種不同的規律都開發出不同的接口以滿足集群負載預測的需求。這種做法雖然可以暫時解決問題，但缺乏自適應性和靈活性。針對不同的業務規律需要選擇不同的預測算法來滿足負載預測需求，按當前的做法不能自適應的去選擇相應的算法，需要手動修改代碼完成相關需求；當有新的負載規律出現時，需要重新開發獨立的接口以滿足需求，而開發過程中需要重新考慮集群環境及負載類型等問題，做了很多不必要的重復工作。

發明內容

本發明要解決上述技術所存在的缺陷，提供一種自適應的算法可插拔的分布式集群負載預測方法，彌補了現有預測方法所存在的不能自適應選擇算法和缺乏靈活性的問題；相應地，提供了一種分布式集群管理系統。

一種集群負載預測方法，應用于分布式集群系統，包括步驟：

在系統中設置預測算法存儲單元與算法池；

預先在算法池內儲存能夠對集群負載進行預測的預測算法及其相關參數信息，并對算法池內的預測算法及其相關參數信息實時更新；

接收外部寫入的用戶預測需求信息，解析該用戶預測需求信息并將該信息存儲于系統中；

將已解析的用戶預測需求信息逐一地與算法池內存儲的預測算法進行匹配，選擇出匹配程度最大的預測算法并將該預測算法及其相關參數信息更新至預測算法存儲單元；

獲取系統提供的負載數據；

基于預測算法存儲單元內的預測算法及其相關參數信息建立負載預測模型，利用負載數據訓練負載預測模型；

使用訓練好的負載預測模型對集群負載進行預測，得到預測結果。

所述的用戶預測需求信息包括用戶所需的預測精度信息、預測規律類型信息、預測周期信息以及預測算法特性信息。