[發明專利]一種基于非監督特征學習的主機負載預測方法

無效

• 申請號: 201310700225.3
• 申請日: 2013-12-19
• 公開（公告）號: CN103678004A
• 公開（公告）日: 2014-03-26
• 發明（設計）人: 周余;楊強鵬;于耀;彭成磊;都思丹;王自強;趙賀;湯文杰;馬雁楠
• 申請（專利權）人: 南京大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明主要針對云計算環境中的主機負載變化劇烈、噪聲大等特點，提出了一種主機負載預測的方法。

背景技術

隨著云計算技術的迅速發展，基礎設施即服務(Infrastructure?as?a?Service，IaaS)成為其重要的服務模式，用戶可以從IaaS提供商處按需租用包括服務器、網絡、存儲等資源。在IaaS環境中，通常實施虛擬機(Virtual?Machine，VM)遷移整合操作來滿足負載均衡、自動伸縮、綠色節能、保證服務質量等方面的需要。

在云計算數據中心，為了能夠及時的應對各種復雜情況，我們需要對數據中心中各種資源的情況進行預測而不是等到異常發生時再采取相應的措施。在云計算數據中心，最重要的幾種資源分別是CPU資源、Memory資源以及disk資源。在這些資源中，CPU資源的使用情況反應了主機上應用程序的運行情況，因此在進行虛擬機調度時，CPU資源是首先要考慮的資源。當某臺主機的負載超過一定值時，運行在該主機上的虛擬機的性能必然受到影響，因此此時選擇將此主機上的一些虛擬機遷移到其他空閑主機上，從而減輕主機的負載；當某些主機上的負載低于一定值時，說明這些主機處于空閑狀態，可以將這些主機上的虛擬機合并到其他主機上，然后關閉那些不用的主機，從而達到降低能耗的目的。

目前存在的一些主機負載預測方法主要針對網格(Grid)計算中主機的負載情況，但是在云計算環境中主機的類型各不相同，主機上運行的任務也各部相同，這就導致云環境中主機負載變化情況更加復雜，因此之前的一些方法并不能很好的對云環境中主機的負載情況進行預測。

為了解決現有技術中存在的問題，本文提出了一種基于非監督特征學習(Unsupervised?Feature?Learning)的方法先自動對負載數據特征提取，將學習到的特征輸入到softmax分類器中，分類的結果就是預測結果。

發明內容

本發明的目的：針對現在云計算中心將各種類型的主機進行集中化的管理，統一提供給各種類型的用戶使用，導致云計算環境下，各臺主機上運行的任務各不相同，其負載的變化情況更加復雜的情況，提出了一種能夠精確預測未來一段時間內負載變化情況的方法，為下一步的虛擬機調度，資源綜合管理奠定了基礎。

針對現有技術中存在的問題，本發明提出了一種新的主機負載預測方法，能夠有效的對未來一段時間內的主機負載進行預測，整個系統由以下兩個主要模塊組成：

模塊一、利用非監督特征學習(Unsupervised?Feature?Learning)的方法對歷史窗口中的數據進行特征提取，得到一種對輸入數據更高層的表達。

模塊二、將要需要預測的時間段分成若干連續相等的小時間段，預測這些時間段中的平均負載。預測的主要方法是將模塊一中學到特征作為模塊二中softmax分類器的輸入，分類器的輸出結果即預測的負載。

對于模塊一，非監督特征學習是一種對輸入數據高層特征提取的方法，已經成功的在手寫數字識別，自然語言處理等領域取得了成功的應用。在本模塊中，我們采用的非監督特征學習的方法是一個稀疏自編碼神經網絡。網絡的輸入是一個未標記的數據集合其中每個表示一個歷史窗口中的數據。整個網絡的架構如圖1所示，其中輸入數據為x，重構的結果其中W⁽ⁱ⁾，b⁽ⁱ⁾為第i層權重系數和偏置項，f為激活函數，其具體形式為：

f(z)=11+exp(-z)]]>

圖中的中間層的輸出就是輸入的另一種表達。為了消除中間層單元的數量大于輸入層數量的限制，在中間層加入了稀疏性的限制。在加入了稀疏性的限制后，優化問題變為通過最小化代價函數J(W，b)，求解W和b，J(W，b)的具體形式為：