[發(fā)明專利]一種云集群環(huán)境下的異常作業(yè)預測方法

有效

• 申請?zhí)枺?/td>: 201811090911.2
• 申請日: 2018-09-19
• 公開（公告）號: CN109271295B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計）人: 謝麗霞;汪子熒;楊宏宇
• 申請（專利權(quán)）人: 中國民航大學
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06K9/62;G06N3/04
• 代理公司: 天津才智專利商標代理有限公司 12108
• 代理人: 龐學欣

一種云集群環(huán)境下的異常作業(yè)預測方法。其包括從原始任務集中獲取任務集；從任務集中提取任務的靜態(tài)特征；經(jīng)過支持向量機將任務分為正常任務和異常任務；計算正常任務'動態(tài)特征，并構(gòu)成動態(tài)特征序列；利用改進的單元門控遞歸神經(jīng)網(wǎng)絡(luò)同時對多個時刻的動態(tài)特征序列進行在線處理；檢索異常任務的ID，若檢索出ID一致的異常任務，則停止其運行，并將該異常任務所屬作業(yè)標記為異常作業(yè)等步驟。本發(fā)明提供的云集群環(huán)境下的異常作業(yè)預測方法在準確度及預測時間等方面明顯優(yōu)于其他方法，從而能夠有效控制異常作業(yè)能耗。

技術(shù)領(lǐng)域

本發(fā)明屬于網(wǎng)絡(luò)信息安全技術(shù)領(lǐng)域，特別是涉及一種云集群環(huán)境下的異常作業(yè)預測方法。

背景技術(shù)

云計算近年來成為現(xiàn)代社會信息化的重要組成部分，其不僅能夠為科學、工業(yè)和商業(yè)提供非常高效、先進的工具，也為普通用戶日常處理數(shù)據(jù)提供了一個平臺。用戶上傳的數(shù)據(jù)和任務由云提供商進行管理，調(diào)度，并以幾乎完全自動化的方式進行處理。

在云集群環(huán)境下的計算過程中，大量的作業(yè)同時被處理、運行，如何在云計算系統(tǒng)下保證海量的作業(yè)快速而有效的運行是十分必要的，與此同時，如何保證云計算系統(tǒng)處理的任務都是可靠的，不懼威脅性的，不會惡意損壞用戶存放在云端的資源或者云服務器，這對于用戶和云提供商來說都是必不可少的。通常那些會對云計算系統(tǒng)安全造成威脅的作業(yè)我們稱之為異常作業(yè)。預測異常作業(yè)不僅可以快速識別海量的待處理作業(yè)，將正常的作業(yè)放置到運行隊列中，中止運行異常作業(yè)，可以有效地防止異常作業(yè)對云計算系統(tǒng)以及平臺下存儲的資源造成威脅。

通過分析Google發(fā)布的數(shù)據(jù)中心資源負載日志，發(fā)現(xiàn)超過670000個作業(yè)，囊括了2600萬個任務中只有57.6％的任務被成功執(zhí)行，超過40％的任務因發(fā)生異常被云計算系統(tǒng)終止。同時由于一個作業(yè)通常會被劃分成多個任務執(zhí)行，某一任務的異常也會影響整個作業(yè)終止狀態(tài)。

為了提高計算的效率，云計算系統(tǒng)會對異常任務進行反復調(diào)度，并且由于云集群平臺沒有調(diào)度次數(shù)限制，對異常任務的反復調(diào)度會顯著增加調(diào)度負載，從而導致云計算系統(tǒng)資源劇烈變動，而這可能被攻擊者利用實施任務注入攻擊或拒絕服務攻擊。不僅對云集群系統(tǒng)產(chǎn)生危害，也會威脅云集群系統(tǒng)的用戶隱私。在動態(tài)云集群環(huán)境中，預測作業(yè)終止狀態(tài)是否異常的方法已成為目前的研究趨勢。

而異常作業(yè)預測，主要就是對作業(yè)進行分類。將作業(yè)分成正常與異常的，執(zhí)行正常的作業(yè)，同時直接中止對異常作業(yè)的調(diào)度或者運行。現(xiàn)在主流的對作業(yè)進行預測的方法就是支持向量機模型、長短時記憶模型和在線序列極限學習機方法，通過已知數(shù)據(jù)集的訓練，使上述模型能夠在任務執(zhí)行之前快速判斷出任務是否正常以及任務是否會惡意消耗系統(tǒng)資源，有效的防止了任務注入攻擊、拒絕服務攻擊等系統(tǒng)安全問題。但目前尚缺少有效的方法。

發(fā)明內(nèi)容

為了解決上述問題，本發(fā)明的目的在于提供一種云集群環(huán)境下的異常作業(yè)預測方法(AJP-IGRU)。

為了達到上述目的，本發(fā)明提供的云集群環(huán)境下的異常作業(yè)預測方法包括按順序進行的下列步驟：

1)從原始任務集中獲取任務集；原始任務集選用Google發(fā)布的集群任務性能數(shù)據(jù)集中前10天的任務數(shù)據(jù)集，該任務數(shù)據(jù)集中包含18623個作業(yè)，隨機選取18000個作業(yè)，這些作業(yè)一共包括了650萬個任務，每個作業(yè)包括一或者多個任務，由所有任務組成任務集；

2)從上述任務集中提取任務的靜態(tài)特征；在任務總量為N的任務集中，針對待處理任務，提取其在線時已具備的靜態(tài)特征，并由所有靜態(tài)特征構(gòu)成靜態(tài)特征序列α_nⁱ(n＝1,2,...,n)；