[發(fā)明專利]一種云作業(yè)調(diào)度及資源配置的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010567753.6
• 申請(qǐng)日: 2020-06-19
• 公開（公告）號(hào): CN111722910B
• 公開（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 崔得龍;林建鵬;彭志平;李啟銳;何杰光;邱金波
• 申請(qǐng)（專利權(quán)）人: 廣東石油化工學(xué)院
• 主分類號(hào): G06F9/455
• 分類號(hào): G06F9/455;G06F9/48;G06F9/50;G06N3/0464;G06N3/08
• 代理公司: 廣州智豐知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44655
• 代理人: 凌衍芬

1.一種云作業(yè)調(diào)度及資源配置的方法，其特征在于，包括：

步驟S1：獲取作業(yè)，建立作業(yè)集；

步驟S2：將作業(yè)集中的作業(yè)分配到不同的作業(yè)隊(duì)列；

步驟S3：將作業(yè)隊(duì)列中的作業(yè)調(diào)度到不同的數(shù)據(jù)中心；

步驟S4：對(duì)調(diào)度到數(shù)據(jù)中心的作業(yè)進(jìn)行任務(wù)解耦，將作業(yè)轉(zhuǎn)化為不同的子任務(wù)；

步驟S5：為不同的子任務(wù)分配虛擬機(jī)，并且以虛擬機(jī)為部署單位，部署到相應(yīng)的服務(wù)器；

步驟S3.1：通過作業(yè)隊(duì)列中的作業(yè)訓(xùn)練作業(yè)調(diào)度器；

所述作業(yè)調(diào)度器包括作業(yè)樣本池和多個(gè)深度神經(jīng)網(wǎng)絡(luò)，用于根據(jù)作業(yè)屬性和數(shù)據(jù)中心參數(shù)將作業(yè)隊(duì)列中的作業(yè)調(diào)度到不同的數(shù)據(jù)中心；

步驟S3.2：通過訓(xùn)練好的作業(yè)調(diào)度器獲取調(diào)度結(jié)果；所述調(diào)度結(jié)果為作業(yè)以最小的作業(yè)延遲和能耗消耗滿足作業(yè)需求的調(diào)度方式；

步驟S3.3：根據(jù)調(diào)度結(jié)果進(jìn)行作業(yè)調(diào)度；所述步驟S3.1包括：

步驟S3.11：將作業(yè)隊(duì)列中作業(yè)的屬性表示為作業(yè)狀態(tài)；

步驟S3.12：通過函數(shù)將作業(yè)狀態(tài)轉(zhuǎn)化為多個(gè)動(dòng)作決策；

步驟S3.13：通過回報(bào)函數(shù)計(jì)算多個(gè)動(dòng)作決策中每個(gè)動(dòng)作決策的回報(bào)值；

步驟S3.14：選取最小回報(bào)值對(duì)應(yīng)的動(dòng)作決策為最優(yōu)決策，并且將作業(yè)狀態(tài)和最優(yōu)決策存儲(chǔ)進(jìn)作業(yè)樣本池中；

步驟S3.15：根據(jù)作業(yè)樣本池中的作業(yè)狀態(tài)和最優(yōu)決策對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；步驟S3.1中深度神經(jīng)網(wǎng)絡(luò)的交叉熵?fù)p失函數(shù)為：

其中，為第x個(gè)深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，所述深度神經(jīng)網(wǎng)絡(luò)的參數(shù)由隨機(jī)梯度下降法進(jìn)行更新；為第T個(gè)動(dòng)作決策

所述步驟S3.13中的回報(bào)函數(shù)為：

其中，s為作業(yè)狀態(tài)，d為動(dòng)作決策，為延遲的回報(bào)值權(quán)重，為能耗的回報(bào)值權(quán)重，N為作業(yè)隊(duì)列總數(shù)，M為每個(gè)作業(yè)隊(duì)列的作業(yè)總數(shù)，為作業(yè)的通信延遲，為作業(yè)的計(jì)算延遲，為作業(yè)的通信能耗，為作業(yè)的計(jì)算能耗；

所述作業(yè)的通信能耗為：

=·

所述作業(yè)的通信延遲為：

=

其中，為數(shù)據(jù)中心通信功率，為傳輸數(shù)據(jù)量，為給作業(yè)分配的帶寬；

所述作業(yè)的計(jì)算能耗為：

=·

所述作業(yè)的計(jì)算延遲為：

=

其中，為數(shù)據(jù)中心運(yùn)行功率，為計(jì)算作業(yè)所需的CPU周期，為給作業(yè)分配的計(jì)算周期；

所述給作業(yè)分配的帶寬為：

=

其中，為數(shù)據(jù)中心的作業(yè)總數(shù)，為數(shù)據(jù)中心的帶寬；

所述給作業(yè)分配的計(jì)算周期為：

=

其中，為數(shù)據(jù)中心的作業(yè)總數(shù)，為數(shù)據(jù)中心的計(jì)算能力；

所述步驟S5包括：

步驟S5.1：通過子任務(wù)訓(xùn)練資源調(diào)度器；

所述資源調(diào)度器包括智能體和任務(wù)樣本池，用于根據(jù)任務(wù)屬性為子任務(wù)分配虛擬機(jī)，根據(jù)服務(wù)器參數(shù)將虛擬機(jī)部署到相應(yīng)的服務(wù)器；

步驟S5.2：通過訓(xùn)練好的資源調(diào)度器獲取部署結(jié)果；所述部署結(jié)果為子任務(wù)以最小的任務(wù)延遲和能源消耗滿足任務(wù)需求的部署方式；

步驟S5.3：根據(jù)部署結(jié)果進(jìn)行虛擬機(jī)部署；

所述步驟S5.1包括：

步驟S5.11：將當(dāng)前時(shí)間步的數(shù)據(jù)中心的服務(wù)器狀態(tài)輸入到智能體；

步驟S5.12：根據(jù)服務(wù)器狀態(tài)獲取到任務(wù)數(shù)據(jù)集，并且將任務(wù)數(shù)據(jù)集存儲(chǔ)進(jìn)任務(wù)樣本池中；

步驟S5.13：根據(jù)任務(wù)樣本池中的任務(wù)數(shù)據(jù)集對(duì)智能體進(jìn)行訓(xùn)練；

所述任務(wù)數(shù)據(jù)集為（，α，r，），其中為當(dāng)前時(shí)間步t的數(shù)據(jù)中心的服務(wù)器狀態(tài)，α為智能體根據(jù)服務(wù)器狀態(tài)按照策略π選擇的動(dòng)作，r為進(jìn)行動(dòng)作α的回報(bào)值，為下一時(shí)間步數(shù)據(jù)中心的服務(wù)器狀態(tài)；

步驟S5.1中的智能體的均分差損失函數(shù)為：

其中，（s，a，r，s’）為任務(wù)樣本池中任意任務(wù)數(shù)據(jù)集，為用于計(jì)算第i次迭代時(shí)的參數(shù)，為用于計(jì)算第i次迭代時(shí)的目標(biāo)參數(shù)，γ∈[0，1]為折扣因子，Q為期望回報(bào)值，a’?為服務(wù)器狀態(tài)s’下獲取最大Q值所采取的動(dòng)作；

所述參數(shù)關(guān)于損失函數(shù)的梯度為：

；

所述資源調(diào)度器的總回報(bào)函數(shù)為：

其中，和為參數(shù)，用于調(diào)整和的數(shù)值，避免兩者相差過大；為任務(wù)延遲回報(bào)函數(shù)，為能源消耗回報(bào)函數(shù)；

所述能源消耗回報(bào)函數(shù)為：

=（t）－（t－1）

其中，（t）為數(shù)據(jù)中心所有服務(wù)器在t時(shí)刻的總能耗，所述數(shù)據(jù)中心所有服務(wù)器的總能耗為：

（t）=

其中，為第x個(gè)服務(wù)器在t時(shí)刻的靜態(tài)能耗，為一個(gè)固定常量；為第x個(gè)服務(wù)器在t時(shí)刻的動(dòng)態(tài)能耗；

所述服務(wù)器的動(dòng)態(tài)能耗為：

=

其中，為第x個(gè)服務(wù)器在t時(shí)刻的負(fù)載率；為參數(shù)，表示線性增長率；為第x個(gè)服務(wù)器在t時(shí)刻的最優(yōu)負(fù)載率；為參數(shù)，表示非線性增長率；

所述服務(wù)器負(fù)載率為：

=×100%

其中，為在t時(shí)刻服務(wù)器上正運(yùn)行的虛擬機(jī)數(shù)量，為在t時(shí)刻服務(wù)器上可運(yùn)行虛擬機(jī)的最大數(shù)量。