[發明專利]一種基于深度強化學習的云作業調度方法

有效

• 申請號: 202011578884.0
• 申請日: 2020-12-28
• 公開（公告）號: CN112698911B
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 李啟銳;彭志平;崔得龍;林建鵬;何杰光
• 申請（專利權）人: 廣東石油化工學院
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/48;G06F9/50;G06N20/00
• 代理公司: 廣州潤禾知識產權代理事務所(普通合伙) 44446
• 代理人: 林偉斌

1.一種基于深度強化學習的云作業調度方法，其特征在于，包括：

接收用戶發送的用戶作業；

對用戶作業進行解耦，獲取就緒作業集；

通過作業調度器對就緒作業集進行調度；所述調度為按照調度策略采取動作，將就緒作業集中的作業部署到相應的虛擬機上；所述動作為就緒作業集中的作業的虛擬機分配方式；

通過虛擬機執行作業，并且返回執行結果；

收集訓練樣本，建立經驗池；所述訓練樣本用于存儲就緒作業集狀態、虛擬機狀態、動作和回報值；所述回報值為采取動作獲得的回報；

判斷經驗池內的訓練樣本數量是否小于閾值，若小于閾值則重新接收用戶發送的用戶作業，否則利用經驗池中的訓練樣本優化作業調度器；

利用優化后的作業調度器進行調度；

所述調度的目標函數為：

所述J為用戶作業；所述π為調度策略；所述為第k個用戶的第i個作業；所述為第k個用戶的第i個作業的完工時間；所述所述所述為作業傳輸到虛擬機的數據量；所述L^k(i)為作業的長度；所述為作業被執行后返回執行結果的數據量；所述為作業的執行時間；所述為作業的傳輸時間；所述為作業向等待時間；所述等待時間為在通過作業調度器對就緒作業集進行調度之后，通過虛擬機執行作業，并且返回執行結果之前，虛擬機計算能力不足，被調度的作業進入虛擬機等待隊列等待被執行的時間；

所述所述為分配給作業的MIPS；所述c為兆字節到字節的轉換系數；所述p為虛擬機完成每單位長度作業的CPU周期；所述所述為作業向虛擬機傳輸數據的時間；所述為作業被執行后，返回處理結果的傳輸時間；所述所述J_j為第j個作業；所述q為等待隊列中作業之前所有作業的集合；所述t_j，e為第j個作業的執行時間。

2.根據權利要求1所述的一種基于深度強化學習的云作業調度方法，其特征在于，所述所述所述作業的傳輸數據量為所述為虛擬機分配給每個作業的帶寬資源。

3.根據權利要求2所述的一種基于深度強化學習的云作業調度方法，其特征在于，所述所述b為虛擬機的帶寬資源；所述為在時隙T傳輸到虛擬機的作業數。

4.根據權利要求3所述的一種基于深度強化學習的云作業調度方法，其特征在于，所述訓練樣本為(s_t，α_t，r_t，s_t+1)；所述就緒作業集狀態為s_J＝{t₁，d₁，t₂，d₂，……，t_n，d_n}；所述虛擬機狀態為所述動作由動作空間A存儲，A＝{α₁，α₂，……，α_n}；所述回報值由回報函數R計算，所述s_t和s_t+1分別為時間步t和時間步t+1的狀態；所述狀態由狀態空間S存儲，S＝{s_J，s_VM}；所述α_t為時間步t從動作空間A中選取的動作；所述r_t為時間步t回報函數R計算的回報值；所述就緒作業集狀態s_J中的t_i和d_i，分別表示就緒作業集中第i個作業的執行時間和傳輸到虛擬機的數據量；所述n為就緒作業集的作業數量；所述虛擬機狀態s_VM中的和分別表示當前時間步第x個虛擬機中剩余的計算能力和等待執行的作業數量；所述m為虛擬機的數量；所述動作空間A中的動作α_i表示就緒作業集中第i個作業的虛擬機分配方式；所述動作α_i的可選項為m+1；所述和分別為第x個虛擬機已執行的作業數量和等待執行的作業數量。

5.根據權利要求上4所述的一種基于深度強化學習的云作業調度方法，其特征在于，所述優化作業調度器的目標函數為：

所述γ為折扣因子，γ∈[0，1]。