[發(fā)明專利]基于深度機器學(xué)習(xí)模型的異常網(wǎng)絡(luò)數(shù)據(jù)生成與預(yù)測方法

有效

• 申請?zhí)枺?/td>: 201811627720.5
• 申請日: 2018-12-28
• 公開（公告）號: CN109492193B
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計）人: 楊愷;竇紹瑜
• 申請（專利權(quán)）人: 同濟大學(xué)
• 主分類號: G06F17/18
• 分類號: G06F17/18;G06N3/08;G06Q10/04;G06Q10/06
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 蔡彭君

本發(fā)明涉及一種基于深度機器學(xué)習(xí)模型的異常網(wǎng)絡(luò)數(shù)據(jù)生成與預(yù)測方法，包括：步驟S1：收集系統(tǒng)組件的歷史性能指標(biāo)數(shù)據(jù)，并訓(xùn)練異常預(yù)測模型；步驟S2：在線收集系統(tǒng)中所有組件的性能指標(biāo)數(shù)據(jù)；步驟S3：判斷各組件是否存在與其有關(guān)聯(lián)關(guān)系的組件，若為是，則執(zhí)行步驟S4，反之，則執(zhí)行步驟S5；步驟S4：將兩個組件的數(shù)據(jù)組合成二元組，計算該二元組的殘差值，并輸入至該二元組對應(yīng)的異常預(yù)測模型，并執(zhí)行步驟S6；步驟S5：搜索該組件對應(yīng)的異常預(yù)測模型，將該組件的性能指標(biāo)數(shù)據(jù)輸入至該組件所對應(yīng)的異常預(yù)測模型，并執(zhí)行步驟S6；步驟S6：判斷模型輸出的預(yù)測結(jié)果，若為是存在異常，則進行報警。與現(xiàn)有技術(shù)相比，本發(fā)明克服了異常預(yù)測系統(tǒng)訓(xùn)練時出現(xiàn)的樣本不均衡問題，提高模型預(yù)測性能。

技術(shù)領(lǐng)域

本發(fā)明涉及異常預(yù)測領(lǐng)域，尤其是涉及一種基于深度機器學(xué)習(xí)模型的異常網(wǎng)絡(luò)數(shù)據(jù)生成與預(yù)測方法。

背景技術(shù)

隨著近年來IT技術(shù)的不斷發(fā)展，IT系統(tǒng)的規(guī)模與復(fù)雜度不斷增長，這使得控制、管理復(fù)雜系統(tǒng)變得越來越困難。大型復(fù)雜系統(tǒng)中的異常往往會隨著系統(tǒng)規(guī)模與復(fù)雜度的增大，造成嚴重的、或不可預(yù)估的后果。所以，如何有效避免系統(tǒng)發(fā)生異常，成為了系統(tǒng)運維環(huán)節(jié)的一個難題。一般的，可以從異常檢測與異常預(yù)測兩個方面入手以避免復(fù)雜系統(tǒng)中的異常。其中，異常檢測旨在監(jiān)測系統(tǒng)性能指標(biāo)，并根據(jù)實時數(shù)據(jù)判斷系統(tǒng)的當(dāng)前狀態(tài)，當(dāng)檢測到當(dāng)前系統(tǒng)狀態(tài)偏離正常狀態(tài)時(即發(fā)生異常時)，就需要采取必要措施以處理異常。異常檢測問題是相對容易的，且相關(guān)技術(shù)也相對成熟，但異常檢測僅能及時檢測異常的存在，不能避免異常的發(fā)生。而異常預(yù)測旨在通過監(jiān)測系統(tǒng)的實時性能指標(biāo)，對系統(tǒng)的未來狀態(tài)進行估計(即預(yù)測異常的發(fā)生)，當(dāng)異常預(yù)測系統(tǒng)預(yù)測到一個異常時，就可以由人工或由系統(tǒng)自動地采取相關(guān)措施以避免異常。異常預(yù)測問題相對于異常檢測問題難度更大，但可以有效避免異常。所以異常預(yù)測系統(tǒng)對解決運維中的異常問題有著重大意義。

異常預(yù)測問題通常可以被轉(zhuǎn)化成一種特殊的二分類問題，其分類結(jié)果僅包括“異常”與“非異常”兩類。傳統(tǒng)的分類方法的前提是需要大量經(jīng)過標(biāo)記的數(shù)據(jù)做模型訓(xùn)練，雖然訓(xùn)練數(shù)據(jù)的標(biāo)記過程往往會耗費巨大的成本，但正、負例數(shù)量較為均衡的標(biāo)記數(shù)據(jù)對提升分類效果有著重大意義。不同于傳統(tǒng)的分類問題，異常預(yù)測問題旨在預(yù)測到系統(tǒng)中的異常，而往往異常是不經(jīng)常發(fā)生的，這導(dǎo)致異常樣本非常的少，如果從特征提取的角度區(qū)分正常樣本與異常樣本的話，實際情況中的訓(xùn)練樣本或訓(xùn)練樣本不均衡往往會使分類性能顯著下降。所以，如何克服異常預(yù)測問題中的訓(xùn)練樣本不均衡問題，目前是異常預(yù)測系統(tǒng)的一個很大的挑戰(zhàn)。

由于復(fù)雜系統(tǒng)中的監(jiān)測數(shù)據(jù)往往是時間序列的形式，在異常預(yù)測時，我們需要借助時間序列的時間特性，如周期性等，對序列進行分析。所以，如何利用時間序列的性質(zhì)對時間序列建模，也是異常預(yù)測問題的一大難點。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于深度機器學(xué)習(xí)模型的異常網(wǎng)絡(luò)數(shù)據(jù)生成與預(yù)測方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn)：

一種基于深度機器學(xué)習(xí)模型的異常網(wǎng)絡(luò)數(shù)據(jù)生成與預(yù)測方法，包括：

步驟S1：收集系統(tǒng)組件的歷史性能指標(biāo)數(shù)據(jù)，并訓(xùn)練異常預(yù)測模型；

步驟S2：在線收集系統(tǒng)中所有組件的性能指標(biāo)數(shù)據(jù)；

步驟S3：判斷各組件是否存在與其有關(guān)聯(lián)關(guān)系的組件，若為是，則執(zhí)行步驟S4，反之，則執(zhí)行步驟S5；

步驟S4：將兩個組件的數(shù)據(jù)組合成二元組，計算該二元組的殘差值，并輸入至該二元組對應(yīng)的異常預(yù)測模型，并執(zhí)行步驟S6；

步驟S5：搜索該組件對應(yīng)的異常預(yù)測模型，將該組件的性能指標(biāo)數(shù)據(jù)輸入至該組件所對應(yīng)的異常預(yù)測模型，并執(zhí)行步驟S6；

步驟S6：判斷模型輸出的預(yù)測結(jié)果，若為是存在異常，則進行報警。

所述步驟S1具體包括：