[發明專利]一種基于海量日志的數據中心任務干擾預測方法

在審

• 申請號: 202110036506.8
• 申請日: 2021-01-12
• 公開（公告）號: CN112667591A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 梁毅;梁巖德;于澤群
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/906;G06N3/08;G06F9/50
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于海量日志的數據中心任務干擾預測方法，其特征在于：由五個步驟組成：初始化、日志任務分類、任務干擾分布矩陣構建、任務干擾預測模型構建、任務干擾預測；

方差分析的屬性選擇邊界標準差std，聚類方法的核心對象數量minp，聚類方法的鄰域半徑α，卷積神經網絡的學習率step，正則化系數λ，卷積神經網絡的訓練批尺寸b，卷積神經網絡的訓練次數β；std取1.5，minp取10，α取2.5，step取0.01，λ取0.03，b取8，β取50；

執行本方法前，將所需日志數據讀入并轉化為可處理的形式；

(1)初始化：

使用日志中的任務信息來進行數據的初始化，令日志中包含的屬性全集為A＝{a₁，a₁…a_F}，與任務相關的屬性子集為T＝{t₁，t₂…t_S}，日志中包含的負載集合為W＝{w₁，w₂…w_Z}；W中的第i個負載wi由多個任務集組成，可表示為w_i＝{WT_i1，WT_i2…WT_iH}，每一個任務集由多個執行邏輯相同的并行任務組成，第j個任務集可表示為WT_ij＝{wt_ij1，wt_ij2…wt_ijV，}，1≤i≤Z，1≤j≤H，任務的執行時間集合Time_ij＝{time_ij1，time_ij2…time_ijV}，其中time_ijo為第o個任務wt_ijo的執行時間，1≤o≤V，Time_ij中最短執行時間記為MinTime_ij，定義inter_ijo＝time_ijo/MinTime_ij，1≤o≤V，代表任務wt_ijo的受干擾程度；

(2)日志任務分類：

2.1)遍歷任務相關的屬性子集T，選取任務的干擾特征屬性，構建任務的干擾特征屬性集合；

2.1.1)從資源使用特征，執行時間，資源申請規模，任務優先級四個方面選取可表示任務受干擾程度的屬性子集S＝{s₁，s₁，...s_N}；

2.1.2)對日志中每一個任務集WT_ij，1≤i≤Z，1≤j≤H，計算其與任務干擾強相關的屬性集WT_S_ij；計算方法如下，遍歷S中的每一個屬性，記第u個屬性為s_u，1≤u≤N，通過標準差分析，判斷su在不同的混合運行環境下的穩定性；定義WT_ij在屬性s_u上的標準差為q_iju，使用公式(1)計算q_iju，其中，v_ijou表示在WT_ij中第o個實例在屬性s_u上的取值，為WT_ij中所有v_ijou的平均值，1≤o≤V；若q_iju大于std，說明該屬性在不同環境下有明顯波動，能夠表現一定的干擾情況，故選擇該屬性，否則放棄選擇該屬性；

2.1.3)對于所有WT_S_ij集合取交集，得到能夠代表任務間干擾特征屬性共性的屬性集合C＝{c₁，c₂…c_B}；

2.2)對于C＝{c₁，c₂…c_B}，定義權重列向量P＝[p₁，p₂…p_B]^T，為每一個屬性賦予權重；

2.3)基于DBSCAN聚類方法，對于任務集合進行分類；

2.3.1)對日志中的所有任務wt_ijo，1≤i≤Z，1≤j≤H，1≤o≤V使用DBSCAN聚類算法進行分類，選取wt_ijo在干擾屬性集合C上相對應的特征值列向量G_ijo＝[G_ijo1，G_ijo2…G_ijoB]^T作為聚類所需的特征值，使用權重列向量P作為G_ijo中特征值的權重，定義任務類別總集合Type，初始化定義存放待篩選任務的候選集合N，初始化對于所有wt_ijo初始化其訪問標簽visited_ijo為false，設置聚類核心對象數量為minp，鄰域半徑為α，α鄰域代表著與任務wt_ijo距離小于α的所有任務所在的域，按照公式(2)計算兩個任務wt_ijo與wt_i′j′o′間的距離，其中，wt_i′j′o′為日志中另外一個任務，滿足1≤i′≤Z，1≤j′≤H，1≤o′≤V.

2.3.2)選擇一個visited_ijo標簽為false的任務wt_ijo，并檢查wt_ijo的α鄰域是否至少包含minp個對象；如果不是，則wt_ijo被標記為噪聲點，否則為wt_ijo創建一個新的任務類集合WTypeu，初始化將wt_ijo添加到N中；

2.3.3)對于N中的任務wt_ijo′，若wt_ijo′的visited_ijo為false，則將其標記為true，并檢查wt_ijo′的α鄰域，如果wt_ijo′的α鄰域中至少包含minp個任務，則將其α鄰域中所有的任務都添加到N中，并將wt_ijo′添加到WType_u中，最后將wt_ijo′從N中刪除，若wt_ijo′的visited_ijo為true，則直接將wt_ijo′從N中刪除；

2.3.4)重復步驟2.3.3)直到N為空，將聚類完成的WType_u添加到Type中；

2.3.5)重復步驟2.3.2)～2.3.4)，直到所有任務都被訪問；得到任務的總聚類數E＝|Type|；

(3)任務干擾分布矩陣構建：

3.1)對于任意任務wt_ijo，1≤i≤Z，1≤j≤H，1≤o≤V，定義其任務干擾分布矩陣M_ijo形式如下：

矩陣的行數為L，列數為Y，矩陣任意元素m_ua，1≤u≤L，1≤a≤Y，表示在任務運行的第u個單位時間內，與該任務混合運行的第a類任務的數量，其中以一秒作為一個單位時間；該矩陣的列數Y為日志中的任務類型總數E，每一列j對應一個不同的任務類WType_a；該矩陣的行數L為日志中該任務所屬任務類中所有任務的最大運行時間的秒數；

3.2)對于每一個wt_ijo，根據wt_ijo所屬任務類的任務最長運行時間秒數以及任務類型總數E初始化創建任務wt_ijo的干擾分布矩陣M_iio；對于M_ijo的每一個元素m_ua，若在任務執行的第u秒，存在并行的a類任務，則設置mua為任務執行到第u秒時并行的a類任務的數量，若不存在并行的a類任務，則設置m_ua為0；

(4)任務干擾預測模型構建：

4.1)使用由三層卷積層和三層全連接層組成的卷積神經網絡CNN模型作為干擾預測模型的設計結構，模型的輸入是大小為L×Y的任務干擾分布矩陣，輸出為任務在該并行情況下的受干擾程度，設置卷積神經網絡的學習率為step，訓練的批尺寸為b；卷積層的卷積核尺寸為3x3的卷積核，卷積步長為2，卷積層的輸出通道數分別為{4，8，16}，全連接層由輸入層，隱藏層，輸出層組成，輸入層的神經元數量Neu為卷積層輸出的特征值數量，隱藏層的神經元數量是Neu/2，輸出層接受前兩層的參數輸出干擾預測值；對于一個批尺寸大小為b的輸入批中所有樣本輸入x和樣本標簽y訓練時的損失值計算，選擇公式3的交叉熵函數J作為損失值計算函數，其中fl＝5為CNN網絡的層數，x^(j)，y^(j)為輸入批中的第j個樣本輸入和樣本標簽，1≤j≤b，f(x^(j))為卷積網絡預測的結果值，Weight＝{we₁，we₂…we_fl}為卷積神經網絡的參數矩陣集合，||we_k||²代表Weight中第k個參數矩陣的L2正則化，其含義是we_k參數矩陣中每一個參數的平方和，1≤k≤fl，λ為正則化系數；每一個參數矩陣we_k中的第o個參數we_ko的參數優化方法選擇公式4的隨機梯度優化算法，其中代表參數we_ko對應的梯度，step為卷積神經網絡的學習率，we_ko′代表更新后的梯度；

4.2)為每一類任務集WType_u，構建相對應的卷積神經網絡干擾預測模型CNN_u，其中u代表第u類任務，1≤u≤E，E代表任務類總數；

4.2.1)訓練構建好的卷積神經網絡CNN_u，將該類所有任務wt_ijo作為樣本數據，其中wt_ijo代表日志中第i個負載中第j個任務集的第個o任務，每次訓練輸入b個樣本，wt_ijo的干擾分布矩陣M_ijo和受干擾程度inter_ijo作為模型的輸入值和標簽值，通過前向傳播算法和隨機梯度優化算法更新模型參數進行訓練，重復輸入直到該類任務全部訓練完畢；

4.3)重復4.2.1)的過程β次，對模型進行多輪參數更新，在參數更新結束后該類任務訓練完成，完成對應的卷積神經網絡的構建；

4.4)重復步驟4.2)～4.3)，對所有任務類wtype_u都訓練相對應的卷積神經網絡CNN_u；

(5)任務干擾預測：

5.1)對于任意任務wt_ijo，輸入其任務類別wtype_u以及需要預測的干擾矩陣M_ijo，使用wtype_u對應的卷積神經網絡模型CNN_u進行預測，輸出預測出的干擾程度inter_ijo，即wtype_u類型的任務在M_ijo并行情況下受到的干擾；

5.2)改變輸入的任務類別，使用該類別任務對應的卷積神經網絡模型作為干擾預測模型，重復步驟5.1)，得到任務集合中所有任務的受干擾情況。