[發明專利]一種面向云計算在線業務的異常負載檢測方法

有效

• 申請號: 201510419286.1
• 申請日: 2015-07-16
• 公開（公告）號: CN105071983B
• 公開（公告）日: 2017-02-01
• 發明（設計）人: 周悅芝;劉金釗;張迪;張堯學
• 申請（專利權）人: 清華大學
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 廖元秋

技術領域

本發明屬于云計算應用技術領域，特別涉及一種利用在線業務的歷史負載數據來識別業務的異常負載以及異常運行狀況的方法。

背景技術

隨著云計算技術的發展，越來越多的用戶選擇將業務部署或遷移到基于云架構的平臺上。利用云計算技術，分配到特定業務的計算、存儲、網絡等資源可以按需進行增加或者減少，從而最大化資源利用率，降低業務的運營成本。在線業務在所有部署到云平臺的業務中占據了較大的比例。由于在線業務往往直接為用戶提供服務界面，因此在線業務的負載更容易受到用戶訪問量的影響。對業務的負載進行監控是云計算提供彈性資源伸縮的基礎，通過對負載進行不間斷的監控，可以在資源需求變動的時候相應地調整資源分配量，從而在保證業務服務質量的同時最大化資源的使用效率。

對于云計算在線業務，在運行的生命周期內都會遇到由于突發用戶請求、程序錯誤等原因引發的異常運行狀況。對于這些業務來說，對業務負載進行監控并根據負載狀態識別異常運行狀態是保證業務能夠正常運行的基本方法。對于由突發用戶訪問量導致的異常負載變化，云平臺可以通過資源彈性伸縮自動進行資源的調整，從而可以在無需人工干預的情況下保證業務的資源分配和服務質量。然而對由程序異常導致的異常負載，自動化的資源伸縮則無法保證業務的服務質量，因而需要將其同正常的負載變化區分開來，以保證異常負載可以及時的得到人工干預。

當業務負載發生變動時，能夠自動、有效、迅速的判斷負載是否處于異常狀態可以給運維人員帶來極大的幫助。如果能夠在異常發生之后通過業務的負載監控數據迅速發現該異常的存在，便可以更快對出現異常的業務進行人工干預，及時排除掉或者修復出錯的程序，從而減少業務在異常狀態下運行的時間，最大程度上保證業務的服務質量和用戶體驗。

現有的異常負載檢測方法主要包括三類:基于閾值的異常負載檢測，基于統計/回歸模型的異常負載檢測，以及基于性能特征的異常負載檢測。基于閾值的異常負載檢測方法通過設定一定數量的性能閾值作為異常負載的條件，并利用對業務實時監測的負載數據來匹配這些條件。若有條件被滿足，即業務的性能數據超過某一設定的閾值，則認為當前的負載為異常負載。這種方法依賴于運維人員的經驗來設定異常負載的閾值條件，當業務的負載特性發生變化時(例如業務程序升級)，這些條件也需要進行相應的修正以保證后續檢測的準確性。并且這種方法對于突發訪問的容忍能力低，當業務負載出現正常的快速上升或者下降時會導致較高的誤報率。

一種改進的方法是利用自適應的閾值來取代固定閾值。自適應的閾值方法周期性地(例如每24小時)對負載數據的特性進行分析并相應地調整閾值設定。這種方法與固定閾值方法一樣存在高誤報率的問題。并且當業務負載在短時間內震蕩時，自適應的調整算法無法發揮其作用，從而對于業務突發性請求的容忍能力沒有相應的提升。

基于回歸/統計模型的異常負載檢測方法對負載數據進行回歸分析(例如線性回歸)并建立回歸模型，從而得到負載的變化趨勢，然后再通過該趨勢來預測未來一段時間內的負載情況作為異常檢測的依據。對于具有周期性負載特征的在線業務，可以對不同周期內的負載數據進行獨立的建模，并將這些模型進行交叉對比，從而識別出異常的特征周期。這類方法的問題在于模型需要不斷的進行校準和修正，同時預測的準確性會直接影響異常檢測的準確性。

基于性能特征的異常負載檢測方法使用統計方法來對業務的性能特性進行建模，并選擇一定的業務性能特征參數與元數據作為異常負載的“指紋”，從而根據這些“指紋”來識別異常負載。對于一定時間內的業務負載數據，首先對其進行分析，計算出指紋，之后將該指紋與該業務在其它不同時段的負載特性以及性能指標進行匹配，判斷該指紋是否為異常負載。識別過程通常利用到基于統計學的方法(例如高斯分布)或數據挖掘方法(例如聚類算法)。檢測的準確性依賴于這些“指紋”特征的準確性。由于業務的特征在業務的整個生命周期內是不斷變化的，因此這些“指紋”也需要不斷的進行調整和修正，從而很難做到完全的自動化。

總結來說，現有的利用負載數據判斷在線業務的異常狀況的方法無法得到較高的準確度，存在誤報率高的問題。同時，這些方法在很大程度上依賴于運維人員的經驗，無法做到完全的自動化監控。

發明內容

本發明為了克服已有異常負載檢測方法的不足之處，提出了一種面向云計算在線業務的異常負載檢測方法，利用在線業務的歷史負載數據，通過小波分析和統計分析來檢測在線業務異常負載的方法。該方法和已有方法相比，不僅能夠獲得更高的準確度，而且具有更好的自適應能力。