[發(fā)明專利]一種基于探索利用分離的聯(lián)合神經(jīng)網(wǎng)絡的云作業(yè)調(diào)度方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210233352.6
• 申請日: 2022-03-10
• 公開（公告）號: CN114579281A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設計）人: 李啟銳;彭志平;崔得龍;林建鵬;何杰光
• 申請（專利權）人: 廣東石油化工學院
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06N3/04;G06N3/08
• 代理公司: 廣州潤禾知識產(chǎn)權代理事務所(普通合伙) 44446
• 代理人: 林偉斌

1.一種基于探索利用分離的聯(lián)合神經(jīng)網(wǎng)絡的云作業(yè)調(diào)度方法，其特征在于，包括：

將用戶負載解耦成子作業(yè)，將子作業(yè)分配到多個隊列中；

將多個隊列中的多個作業(yè)屬性組成狀態(tài)；

將狀態(tài)作為多個并行神經(jīng)網(wǎng)絡的輸入，多個并行神經(jīng)網(wǎng)絡輸出對應的動作決策；

利用回報函數(shù)計算每個動作決策的成本值，選擇獲取最小成本值的動作決策作為該組作業(yè)的最佳動作決策；

根據(jù)選擇的最佳動作決策將隊列中的子作業(yè)調(diào)度到多個集群中；

其中，所述多個并行的神經(jīng)網(wǎng)絡分為探索部分和利用部分，將利用部分的神經(jīng)網(wǎng)絡利用訓練集進行訓練得到訓練后的神經(jīng)網(wǎng)絡；

所述將狀態(tài)作為多個并行神經(jīng)網(wǎng)絡的輸入具體是將狀態(tài)輸入訓練后的利用部分的神經(jīng)網(wǎng)絡和探索部分的神經(jīng)網(wǎng)絡。

2.根據(jù)權利要求1所述的一種基于探索利用分離的聯(lián)合神經(jīng)網(wǎng)絡的云作業(yè)調(diào)度方法，其特征在于，所述作業(yè)屬性包括作業(yè)所需要的CPU周期數(shù)和作業(yè)所需要傳輸?shù)臄?shù)據(jù)量。

3.根據(jù)權利要求2所述的一種基于探索利用分離的聯(lián)合神經(jīng)網(wǎng)絡的云作業(yè)調(diào)度方法，其特征在于，將狀態(tài)作為多個并行神經(jīng)網(wǎng)絡的輸入，多個并行神經(jīng)網(wǎng)絡輸出對應的動作決策，具體為：

狀態(tài)其中，N表示隊列數(shù)，n∈N，M表示每個隊列包含的作業(yè)數(shù)量，m∈M；表示作業(yè)T_nm所需要的CPU周期數(shù)，表示作業(yè)T_nm所需要傳輸?shù)臄?shù)據(jù)量；t表示調(diào)度時隙；

每個神經(jīng)網(wǎng)絡輸出的動作決策表示為：其中表示第x個神經(jīng)網(wǎng)絡參數(shù)的函數(shù)，a_nmk＝1表示隊列Q_n中的作業(yè)T_m調(diào)度到集群Clu_k中，K表示系統(tǒng)中計算集群的數(shù)量，k∈K，即：

4.根據(jù)權利要求3所述的一種基于探索利用分離的聯(lián)合神經(jīng)網(wǎng)絡的云作業(yè)調(diào)度方法，其特征在于，利用回報函數(shù)計算每個動作決策的成本值，具體為：

回報函數(shù)定義為：

Cost(s,d)＝λ×TD+(1-λ)×EC

其中，s表示作業(yè)集，d表示動作決策，λ∈[0,1]表示作業(yè)時延在總的優(yōu)化目標中的權重，(1-λ)表示能耗的優(yōu)化權重；

令D表示為作業(yè)集s的所有調(diào)度策略，則優(yōu)化目標表示為：

min_d∈DCost(s，d)

s.t.

C1:

C2:

C3:1≤n≤N,1≤k≤K

其中，表示作業(yè)T_m被分配到集群Clu_k中其所能占用的帶寬；BW_nk表示隊列Q_n與集群Clu_k之間被分配的帶寬；表示每個作業(yè)的計算能力，CP_k表示集群的計算能力。

5.根據(jù)權利要求4所述的一種基于探索利用分離的聯(lián)合神經(jīng)網(wǎng)絡的云作業(yè)調(diào)度方法，其特征在于，選擇獲取最小成本值的動作決策作為該組作業(yè)的最佳動作決策具體為根據(jù)如下公式獲取：

最佳動作決策

6.一種基于探索利用分離的聯(lián)合神經(jīng)網(wǎng)絡的云作業(yè)調(diào)度系統(tǒng)，其特征在于，包括：

分配模塊，用于將用戶負載解耦成子作業(yè)，將子作業(yè)分配到多個隊列中；

狀態(tài)構建模塊，用于將多個隊列中的多個作業(yè)屬性組成狀態(tài)；

動作決策模塊，用于將狀態(tài)作為多個并行神經(jīng)網(wǎng)絡的輸入，多個并行神經(jīng)網(wǎng)絡輸出對應的動作決策；

最佳動作決策模塊，用于利用回報函數(shù)計算每個動作決策的成本值，選擇獲取最小成本值的動作決策作為該組作業(yè)的最佳動作決策；

調(diào)度模塊，用于根據(jù)選擇的最佳動作決策將隊列中的子作業(yè)調(diào)度到多個集群中；

其中，所述多個并行的神經(jīng)網(wǎng)絡分為探索部分和利用部分，將利用部分的神經(jīng)網(wǎng)絡利用訓練集進行訓練得到訓練后的神經(jīng)網(wǎng)絡；

所述將狀態(tài)作為多個并行神經(jīng)網(wǎng)絡的輸入具體是將狀態(tài)輸入訓練后的利用部分的神經(jīng)網(wǎng)絡和探索部分的神經(jīng)網(wǎng)絡。