[發明專利]基于機器學習的面向資源管理的云任務細粒度分類方法

有效

• 申請號: 202010909564.2
• 申請日: 2020-09-02
• 公開（公告）號: CN112231095B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 肖利民;左禮威;朱金彬
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F18/23213;G06F18/2413;H04L67/10
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 吳小燦;張濤

1.一種基于機器學習的面向資源管理的云任務細粒度分類方法，其特征在于：利用機器學習K-means算法，按照任務周期內對資源的動態需求特征將每個云計算任務不同的時間段進行聚類為CPU密集型、內存密集型和I/O密集型，針對I/O密集型分段再進一步分為讀密集型、寫密集型，實現任務更細粒度分類，通過分析任務調度時序關系找出任務間的依賴關系，據此實現更優的數據中心任務與資源調度方案，提高數據中心能效；

包括以下幾個步驟：

步驟1，對云計算任務分段：將云計算任務按時間周期均分為N段，則每個任務小分段時間長度為T/N，其中T為云任務總周期，以每個小分段中點時刻T_j(j＝1，2…N)代表該小分段時間節點；

步驟2，利用K-means算法進行聚類：以每個任務分段內對CPU、I/O、內存需求量和分段時間節點為特征，使用K-means算法進行聚類，將每個任務分段劃分為CPU密集型、I/O密集型或內存密集型；

步驟3，合并類別相同的小任務分段：將步驟2中的聚類結果按照任務小分段進行合并，即將所屬同一子類的時間節點T_j相鄰的任務小分段合并成大的任務周期段[T_l，T_r]，其中T_l表示大任務周期段起始時間節點、T_r表示大任務周期段結束時間節點，大的任務周期段所屬類別即任務小分段所屬類別；

步驟4，細分I/O密集型任務：對于類別為I/O密集型的任務周期段，統計該周期段內讀操作次數為N_r、寫操作次數為N_w，比較讀和寫操作次數，若即將該周期段定為讀密集型，若/則定義為寫密集型；

步驟5，利用任務調度時序關系生成有向無環圖DAG：根據數據中心集群跟蹤數據中任務調度的時序關系，若兩個任務調度時間有重合則兩個任務節點相互獨立，若無重合則后開始執行的任務必須等到先開始執行的任務執行完成之后再開始執行；DAG表示為DAG＝{W，E}，W＝{W_i，i＝1,2…n}為任務集合，E＝{(w_i，w_j)1＜i，j＜n}表示任務依賴集，即任務執行的時序關系，表明任務w_j在任務w_i執行完成之后才能被調度執行，有向邊w_i→w_j表示任務w_i是任務w_j的前驅節點，即pre(w_j)＝w_i；任務w_j是任務w_i的后繼節點，即suc(w_i)＝w_j。

2.根據權利要求1所述方法，其特征在于，定義云計算任務集為W＝{W_i，i＝1.2.3…}，任一任務表示為W_i＝(C_j，O_j，M_j，T_j)，j＝1.2…N，其中，T_j表示該任務小分段的時間節點，C_j表示任務W_i在T_j小分段內的CPU需求量，O_j表示任務W_i在T_j小分段內的I/O需求量，M_j表示任務W_i在T_j小分段內的內存需求量。

3.根據權利要求1所述方法，其特征在于，對于任一任務W_i＝(C_j，O_j，M_j，T_j)，K-means聚類算法具體步驟如下：

步驟2.1，參數歸一化處理，由于C_j，O_j，M_j三個指標參數單位不一致，需進行歸一化處理：

/

使其分別歸一化為[0,1]之間，聚類時采用歸一化后的指標W_i＝(C_j′，O_j′，M_j′，T_j)；

步驟2.2，選取初始聚類中心，定義聚類中心V＝{V_h|V_h＝(V_Ch，V_0h，V_Mh)，h＝1,2,3}，初始化三個聚類中心為C_j，O_j，M_j三個指標參數各自的平均值：

步驟2.3，任務小分段劃分，采用歐式距離計算任務W_i各小分段與聚類中心V_h的距離：

計算每個任務小分段到三個聚類中心的距離，即相異度，并劃歸入相異度最低的那個聚類中心所在子類中；

步驟2.4，更新聚類中心，通過計算已得到子類中所有任務小分段各指標參數的算術平均數，重新計算三個聚類中心：

其中，N(Φ_hk)為三個子類集合Φ_hk的任務小分段個數，T_j∈Φ_hk表示劃分至三個子類集合中的任務小分段；

步驟2.5，重新聚類，按照新的聚類中心重復步驟3，將任務小分段集中的全部數據重新進行聚類；

步驟2.6，重復步驟2.4-步驟2.5，損失函數采用類內誤差平方和準則函數：

當損失Cost值基本穩定或達到最大迭代值時聚類迭代終止；

步驟2.7，輸出結果，輸出每個任務小分段T_j所處類別。