[發(fā)明專利]一種帶狀態(tài)流計算系統(tǒng)中的異常監(jiān)控及預(yù)測方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710090521.4
• 申請日: 2017-02-20
• 公開（公告）號: CN106844161B
• 公開（公告）日: 2020-03-17
• 發(fā)明（設(shè)計）人: 徐光俠;趙璐;陶荊朝;常光輝;劉俊;范時平;王天羿;吳新凱;張令浩
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06K9/62
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 劉小紅;李金蓉

1.一種帶狀態(tài)流計算系統(tǒng)中的異常監(jiān)控及預(yù)測方法，包括以下步驟：

S1：對帶狀態(tài)流計算系統(tǒng)的運行狀態(tài)進行實時監(jiān)控，采集系統(tǒng)運行時的特征屬性E，并將這些特征屬性存儲在歷史樣本集中；

S2：對歷史樣本集中的數(shù)據(jù)進行歸一化處理，將歸一化處理后的數(shù)據(jù)進行降維處理，得到降維空間F；

S3：對降維空間F的特征向量進行分類處理；將降維空間F的特征向量作為SVM分類器的輸入，輸出最優(yōu)分類平面S₁，得到訓(xùn)練好的SVM分類器；

S4：利用馬爾科夫模型計算歷史樣本集的轉(zhuǎn)移概率并得到轉(zhuǎn)移矩陣，然后統(tǒng)計初始時刻數(shù)據(jù)的分布狀況并對系統(tǒng)下一時刻運行狀態(tài)進行預(yù)測；根據(jù)預(yù)測的系統(tǒng)下一時刻運行狀態(tài)，輸出系統(tǒng)狀態(tài)所構(gòu)成的平面S₂；

S5：對系統(tǒng)狀態(tài)所構(gòu)成的平面S₂與最優(yōu)分類平面S₁進行比較，如果系統(tǒng)狀態(tài)構(gòu)成的平面S₂與最優(yōu)分類平面S₁之間的距離大于閾值β，則進行預(yù)警，判定系統(tǒng)狀態(tài)為異常；

S6：如果判定系統(tǒng)狀態(tài)為異常，則將異常樣本數(shù)據(jù)回溯到歷史樣本集，并隨機去掉當(dāng)前歷史樣本集中正常樣本數(shù)據(jù)，更新分類器。

2.根據(jù)權(quán)利要求1所述一種帶狀態(tài)流計算系統(tǒng)中的異常監(jiān)控及預(yù)測方法，其特征在于：步驟S1中所述特征屬性E包括，E＝[可用字節(jié)，平均磁盤隊列長度，數(shù)據(jù)包速率，線程數(shù)，當(dāng)前磁盤隊列長度，處理器時間，狀態(tài)轉(zhuǎn)換，系統(tǒng)響應(yīng)時間，吞吐量，CPU占用率，內(nèi)存使用率，磁盤I/O，網(wǎng)絡(luò)I/O，進程數(shù)，每個進程的消耗時間，虛擬內(nèi)存字節(jié)數(shù)，每個元組的處理時間，原子事件實例序列長度，狀態(tài)機處理速率，事件響應(yīng)時間，事件到達率]。

3.根據(jù)權(quán)利要求1所述一種帶狀態(tài)流計算系統(tǒng)中的異常監(jiān)控及預(yù)測方法，其特征在于：步驟S2所述降維處理的步驟如下：

S21：將特征屬性E利用核函數(shù)抽象到高維空間中；

S22：將高維空間進行歸一化處理；

S23：按照多種劃分方式分別劃分高維空間，然后在每個空間中進行降維處理；

S24：重復(fù)S23的過程，直到當(dāng)前降維空間與前一降維空間相差小于閾值λ，則停止；

S25：得到最終的降維空間F。

4.一種帶狀態(tài)流計算系統(tǒng)中的異常監(jiān)控及預(yù)測系統(tǒng)，其特征在于：包括系統(tǒng)監(jiān)控模塊、數(shù)據(jù)處理模塊、系統(tǒng)預(yù)測模塊和結(jié)果檢測模塊；

所述系統(tǒng)監(jiān)控模塊用于對帶狀態(tài)流計算系統(tǒng)的運行狀態(tài)進行實時監(jiān)控，采集系統(tǒng)運行時的特征屬性E，并將這些特征屬性存儲在歷史樣本集中；

所述數(shù)據(jù)處理模塊用于對歷史樣本集中的數(shù)據(jù)進行歸一化處理，將歸一化處理后的數(shù)據(jù)進行降維，訓(xùn)練出分類器；

所述系統(tǒng)預(yù)測模塊利用馬爾科夫模型計算歷史樣本集的轉(zhuǎn)移概率并得到轉(zhuǎn)移矩陣，然后統(tǒng)計初始時刻數(shù)據(jù)的分布狀況并對系統(tǒng)下一時刻運行狀態(tài)進行預(yù)測；

所述結(jié)果檢測模塊用于判斷系統(tǒng)是否處于異常狀態(tài)。

5.根據(jù)權(quán)利要求4所述一種帶狀態(tài)流計算系統(tǒng)中的異常監(jiān)控及預(yù)測系統(tǒng)，其特征在于：還包括分類器更新模塊，用于在系統(tǒng)狀態(tài)異常時，更新分類器，使其能夠自適應(yīng)系統(tǒng)運行狀態(tài)的變化。

6.根據(jù)權(quán)利要求4所述一種帶狀態(tài)流計算系統(tǒng)中的異常監(jiān)控及預(yù)測系統(tǒng)，其特征在于：所述系統(tǒng)預(yù)測模塊包括狀態(tài)機預(yù)判斷模塊和系統(tǒng)運行狀態(tài)預(yù)測模塊；

狀態(tài)機預(yù)判斷模塊預(yù)判斷下一時刻狀態(tài)機的事件到達率的概率，如果預(yù)測狀態(tài)機狀態(tài)正常，則系統(tǒng)運行狀態(tài)預(yù)測模塊根據(jù)歷史樣本集中的數(shù)據(jù)計算系統(tǒng)下一時刻狀態(tài)的轉(zhuǎn)移概率和轉(zhuǎn)移矩陣，得到系統(tǒng)下一時刻運行狀態(tài)，并得到該時刻系統(tǒng)運行狀態(tài)所構(gòu)成的狀態(tài)平面；否則認(rèn)為系統(tǒng)下一時刻出現(xiàn)異常，直接進行預(yù)警。

7.根據(jù)權(quán)利要求4所述一種帶狀態(tài)流計算系統(tǒng)中的異常監(jiān)控及預(yù)測系統(tǒng)，其特征在于：所述判斷系統(tǒng)是否處于異常狀態(tài)為：對系統(tǒng)預(yù)測模塊中的系統(tǒng)狀態(tài)所構(gòu)成的平面S₂與數(shù)據(jù)處理模塊中的最優(yōu)分類平面S₁進行比較，如果系統(tǒng)狀態(tài)構(gòu)成的平面S₂與最優(yōu)分類平面S₁之間的距離大于閾值β，則進行預(yù)警，判定系統(tǒng)狀態(tài)為異常。