[發(fā)明專利]一種基于DQN的云計(jì)算資源調(diào)度優(yōu)化方法

有效

• 申請?zhí)枺?/td>: 201910569345.1
• 申請日: 2019-06-27
• 公開（公告）號: CN110351348B
• 公開（公告）日: 2022-03-11
• 發(fā)明（設(shè)計(jì)）人: 彭志平;林建鵬;崔得龍;李啟銳;何杰光;付公燚;毛遠(yuǎn)洪;鄧錫海
• 申請（專利權(quán)）人: 廣東石油化工學(xué)院
• 主分類號: H04L67/1001
• 分類號: H04L67/1001;H04L67/1008;H04L67/1012
• 代理公司: 廣州潤禾知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44446
• 代理人: 凌衍芬

1.一種基于DQN的云計(jì)算資源調(diào)度優(yōu)化方法，其特征在于，所述方法包括：

確認(rèn)任務(wù)和目標(biāo)網(wǎng)絡(luò)的服務(wù)器負(fù)載狀態(tài)并根據(jù)任務(wù)情況和目標(biāo)網(wǎng)絡(luò)的服務(wù)器負(fù)載狀態(tài)形成任務(wù)部署計(jì)劃；

記錄服務(wù)器當(dāng)前負(fù)載狀態(tài)為起始狀態(tài)并根據(jù)任務(wù)部署計(jì)劃將任務(wù)部署至服務(wù)器的虛擬機(jī)上；

記錄任務(wù)部署后的服務(wù)器的負(fù)載狀態(tài)為完成狀態(tài)；

根據(jù)完成狀態(tài)計(jì)算任務(wù)完工時(shí)間并根據(jù)任務(wù)完工時(shí)間形成第一回報(bào)值，根據(jù)目標(biāo)網(wǎng)絡(luò)的起始狀態(tài)與完成狀態(tài)形成第二回報(bào)值；

統(tǒng)計(jì)多次的任務(wù)部署后的第一回報(bào)值形成第一回報(bào)集，統(tǒng)計(jì)多次的任務(wù)部署后的第二回報(bào)值形成第二回報(bào)集；

將第一回報(bào)集及第二回報(bào)集分別進(jìn)行最小-最大值歸一化處理；

根據(jù)能源消耗權(quán)重、時(shí)間權(quán)重、歸一化后的第一回報(bào)集及歸一化后的第二回報(bào)集計(jì)算得最終回報(bào)集，所述能源消耗權(quán)重為用于表示服務(wù)器負(fù)載狀態(tài)變化導(dǎo)致的能源消耗在計(jì)算中的權(quán)重，所述時(shí)間權(quán)重為用于表示任務(wù)完工時(shí)間在計(jì)算中的權(quán)重；

根據(jù)最終回報(bào)集中的元素形成樣本加入至樣本池。

2.根據(jù)權(quán)利要求1所述的一種基于DQN的云計(jì)算資源調(diào)度優(yōu)化方法，其特征在于，所述根據(jù)最終回報(bào)集中的元素形成樣本加入至樣本池的步驟具體包括：

分析最終回報(bào)集中的一個(gè)元素結(jié)合其所對應(yīng)的起始狀態(tài)、完成狀態(tài)及任務(wù)部署計(jì)劃形成參考樣本；

對最終回報(bào)集中的所有元素逐個(gè)進(jìn)行分析后將分析結(jié)果作為樣本加入樣本池。

3.根據(jù)權(quán)利要求1所述的一種基于DQN的云計(jì)算資源調(diào)度優(yōu)化方法，其特征在于，所述根據(jù)完成狀態(tài)計(jì)算任務(wù)完工時(shí)間并根據(jù)任務(wù)完工時(shí)間形成第一回報(bào)值的步驟具體包括：

根據(jù)完成狀態(tài)計(jì)算任務(wù)部署所需的等待時(shí)間和執(zhí)行任務(wù)所需的執(zhí)行時(shí)間；

根據(jù)任務(wù)部署所需的等待時(shí)間及執(zhí)行任務(wù)所需的執(zhí)行時(shí)間的時(shí)間和的反比計(jì)算第一回報(bào)值。

4.根據(jù)權(quán)利要求1所述的一種基于DQN的云計(jì)算資源調(diào)度優(yōu)化方法，其特征在于，所述根據(jù)目標(biāo)網(wǎng)絡(luò)的起始狀態(tài)與完成狀態(tài)形成第二回報(bào)值的步驟具體包括：

計(jì)算起始狀態(tài)的服務(wù)器總能源消耗及完成狀態(tài)的服務(wù)器總能源消耗；

將起始狀態(tài)的服務(wù)器總能源消耗及完成狀態(tài)的服務(wù)器總能源消耗的差值作為第二回報(bào)值。

5.根據(jù)權(quán)利要求4所述的一種基于DQN的云計(jì)算資源調(diào)度優(yōu)化方法，其特征在于，所述服務(wù)器總能源消耗為服務(wù)器的靜態(tài)能源消耗和服務(wù)器的動態(tài)能源消耗之和。

6.根據(jù)權(quán)利要求1所述的一種基于DQN的云計(jì)算資源調(diào)度優(yōu)化方法，其特征在于，所述確認(rèn)任務(wù)和目標(biāo)網(wǎng)絡(luò)的服務(wù)器負(fù)載狀態(tài)并根據(jù)任務(wù)情況和目標(biāo)網(wǎng)絡(luò)的服務(wù)器負(fù)載狀態(tài)形成任務(wù)部署計(jì)劃的步驟具體包括：

獲取任務(wù)并分析任務(wù)之間的依賴性；

采用粗粒度資源配置方式根據(jù)ε-greedy調(diào)度策略及任務(wù)之間的依賴性形成任務(wù)部署計(jì)劃。

7.根據(jù)權(quán)利要求1所述的一種基于DQN的云計(jì)算資源調(diào)度優(yōu)化方法，其特征在于，所述根據(jù)最終回報(bào)集中的元素形成樣本加入至樣本池的步驟后具體包括：

當(dāng)樣本池的樣本數(shù)量累積至閾值后，從樣本池中隨機(jī)抽取Mini-batch個(gè)樣本，采用隨機(jī)梯度下降法更新在線網(wǎng)絡(luò)參數(shù)；

在線網(wǎng)絡(luò)參數(shù)每更新一定次數(shù)，便將在線網(wǎng)絡(luò)參數(shù)賦值給目標(biāo)網(wǎng)絡(luò)參數(shù)。