[發明專利]一種云集群環境下的異常作業預測方法

有效

• 申請號: 201811090911.2
• 申請日: 2018-09-19
• 公開（公告）號: CN109271295B
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 謝麗霞;汪子熒;楊宏宇
• 申請（專利權）人: 中國民航大學
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06K9/62;G06N3/04
• 代理公司: 天津才智專利商標代理有限公司 12108
• 代理人: 龐學欣

1.一種云集群環境下的異常作業預測方法，所述的云集群環境下的異常作業預測方法包括按順序進行的下列步驟：

1)從原始任務集中獲取任務集；原始任務集選用Google發布的集群任務性能數據集中前10天的任務數據集，該任務數據集中包含18623個作業，隨機選取18000個作業，這些作業一共包括了650萬個任務，每個作業包括一或者多個任務，由所有任務組成任務集；

2)從上述任務集中提取任務的靜態特征；在任務總量為N的任務集中，針對待處理任務，提取其在線時已具備的靜態特征，并由所有靜態特征構成靜態特征序列α_nⁱ，其中n＝1,2,...,n；

3)在離線狀態下，將上述靜態特征序列α_nⁱ作為支持向量機的輸入，經過支持向量機計算最大間隔超平面之后，將所有任務分為能夠在云集群環境下成功執行的“正常任務”和無法正常完成且可能造成云集群系統負載過大的“異常任務”兩種類型，如果分類結果為正常任務，執行步驟4)；而如果分類結果為異常任務，云集群系統直接停止對其進行調度，并跳轉至步驟6)；

4)計算第t個時刻云集群系統處理的正常任務的動態特征，并由所有動態特征構成動態特征序列；

5)利用改進的單元門控遞歸神經網絡同時對多個時刻的動態特征序列進行在線處理，以預測該正常任務的終止狀態，一旦預測出該正常任務的終止狀態為異常，則立即終止該正常任務的運行并跳轉至步驟6)；若無異常，則繼續運行該正常任務；

6)檢索步驟3)和步驟5)中確定出的異常任務的ID，若檢索出ID一致的異常任務，則停止其運行，并將該異常任務所屬作業標記為異常作業，由此完成預測過程；

其特征在于：在步驟4)中，所述的計算動態特征具體方法如下：

對于正常任務i在運行階段中的第t個時刻，若此時刻資源占用量Z_t滿足公式(2)，則該正常任務的異常次數Q_i加1；

其中，V_avr表示第t個時刻之前資源占用量的平均值；同時，若第t個時刻及第t-1個時刻滿足公式(3)，則異常次數Q_i累計加1；

V_max表示第t個時刻之前資源占用量變動的最大值；將正常任務i在第t個時刻的資源占用量Z_t、異常次數Q_i作為其特征值，并將這些特征值稱為正常任務i在第t個時刻的動態特征；由所有動態特征構成第t個時刻的動態特征序列β_kⁱ(k＝1,2,..,k)；

在步驟5)中，所述的利用改進的單元門控遞歸神經網絡對多個時刻的動態特征序列進行在線處理的方法如下：

步驟1：正常任務i在第t個時刻時，將上一時刻t-1的輸出狀態信息h_t-1和第t個時刻的動態特征序列β_kⁱ由輸入節點I_c輸入改進的單元門控遞歸神經網絡中的重置門r_c與更新門z_c；

步驟2：利用重置門與更新門同時對上述信息進行處理，其中重置門r_c決定上一時刻t-1的輸出狀態信息h_t-1中信息的丟棄程度，并由公式(4)計算出信息丟棄之后的狀態值v_t：

v_t＝μ(x_tW_r+h_t-1U_r) (4)

其中，W_r為第t個時刻到重置門r_c的連接矩陣，U_r表示上一時刻t-1到重置門r_c的連接矩陣，μ為動態權重，該值可由公式(5)計算得到；

其中，Q_k為第t個時刻所屬窗口中的異常次數，為常數；

更新門z_c則控制上一時刻t-1的輸出狀態信息h_t-1被保留在當前狀態中的程度，由公式(6)可得到更新后的狀態值u_t：

u_t＝μ(x_tW_z+h_t-1U_z) (6)

其中，W_z為第t個時刻到更新門z_c的連接矩陣，U_z是上一時刻t-1到更新門z_c的連接矩陣；

步驟3：使用tanh激活函數處理信息丟棄之后的狀態值v_t，得到待選狀態值s_t：

其中，W為第t個時刻到待選狀態值s_t的連接矩陣，U是上一時刻t-1到待選狀態值s_t的連接矩陣；

步驟4：在IGRU中，將信息丟棄之后的狀態值v_t與更新后的狀態值u_t以及待選狀態值s_t在隱含層融合，得到丟棄了次要信息同時保留重要信息的隱含層狀態值h_t；

h_t＝(1-u_t)h_t-1+u_ts_t (8)

步驟5：將第t個時刻的最終輸出信息p_t由輸出節點O_c輸出并作為下一時刻h_t+1的狀態信息：

其中，W_O表示第t個時刻到輸出節點O_c的連接矩陣。