[發(fā)明專利]基于圖神經(jīng)網(wǎng)絡(luò)深度強(qiáng)化學(xué)習(xí)的多coflow調(diào)度方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010501622.8
• 申請(qǐng)日: 2020-06-04
• 公開（公告）號(hào): CN111756653B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計(jì)）人: 郭澤華;孫鵬浩
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): H04L47/6275
• 分類號(hào): H04L47/6275;G06N3/04;G06N3/08
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 溫子云;郭德忠

1.基于圖神經(jīng)網(wǎng)絡(luò)深度強(qiáng)化學(xué)習(xí)的多coflow調(diào)度方法，其特征在于，包括以下步驟：

步驟1、采用深度強(qiáng)化學(xué)習(xí)框架建立多工作流調(diào)度模型即多coflow調(diào)度模型；所述多coflow調(diào)度模型包含深度強(qiáng)化學(xué)習(xí)代理、策略轉(zhuǎn)換器和環(huán)境，所述環(huán)境為待調(diào)度數(shù)據(jù)中心網(wǎng)絡(luò)；

所述深度強(qiáng)化學(xué)習(xí)代理由圖神經(jīng)網(wǎng)絡(luò)和策略網(wǎng)絡(luò)級(jí)聯(lián)形成，其中，所述圖神經(jīng)網(wǎng)絡(luò)用于計(jì)算工作流有向無環(huán)圖(DAG)的全局信息和節(jié)點(diǎn)特征值，所述策略網(wǎng)絡(luò)根據(jù)所述全局信息和節(jié)點(diǎn)特征值生成所述工作流DAG中邊的調(diào)度優(yōu)先級(jí)列表；

步驟2、計(jì)算待調(diào)度數(shù)據(jù)中心網(wǎng)絡(luò)中工作流DAG中各節(jié)點(diǎn)所包含的節(jié)點(diǎn)流量及完成時(shí)間；所述工作流DAG及節(jié)點(diǎn)流量作為所述深度強(qiáng)化學(xué)習(xí)代理的初始輸入狀態(tài)；所述完成時(shí)間作為所述深度強(qiáng)化學(xué)習(xí)代理的初始獎(jiǎng)勵(lì)；

步驟3、將所述初始輸入狀態(tài)及初始獎(jiǎng)勵(lì)輸入所述深度強(qiáng)化學(xué)習(xí)代理，由深度強(qiáng)化學(xué)習(xí)代理計(jì)算得到所述調(diào)度優(yōu)先級(jí)列表，所述調(diào)度優(yōu)先級(jí)列表作為所述深度強(qiáng)化學(xué)習(xí)代理輸出的動(dòng)作；所述策略轉(zhuǎn)換器將所述動(dòng)作作為coflow調(diào)度策略并作用于所述環(huán)境中，即根據(jù)所述coflow調(diào)度策略調(diào)度待調(diào)度數(shù)據(jù)中心網(wǎng)絡(luò)，再計(jì)算當(dāng)前調(diào)度下的工作流DAG的節(jié)點(diǎn)流量及完成時(shí)間，更新所述深度強(qiáng)化學(xué)習(xí)代理；迭代執(zhí)行步驟3，直到達(dá)到最大迭代次數(shù)，完成所述深度強(qiáng)化學(xué)習(xí)代理的訓(xùn)練，從而完成多coflow調(diào)度模型的訓(xùn)練；

步驟4、在實(shí)際部署過程中，計(jì)算待調(diào)度數(shù)據(jù)中心網(wǎng)絡(luò)中工作流DAG中各節(jié)點(diǎn)所包含的節(jié)點(diǎn)流量及完成時(shí)間，將工作流DAG及節(jié)點(diǎn)流量作為狀態(tài)、將完成時(shí)間作為獎(jiǎng)勵(lì)輸入到訓(xùn)練得到的多coflow調(diào)度模型中，得到輸出的待調(diào)度數(shù)據(jù)中心網(wǎng)絡(luò)的coflow調(diào)度策略，并根據(jù)coflow調(diào)度策略完成待調(diào)度數(shù)據(jù)中心網(wǎng)絡(luò)的工作流調(diào)度；

所述步驟1中所述圖神經(jīng)網(wǎng)絡(luò)用于計(jì)算工作流DAG的全局信息和節(jié)點(diǎn)特征值的過程，包括以下步驟：

步驟1.1、將工作流DAG中節(jié)點(diǎn)v_i的信息作為節(jié)點(diǎn)特征x_i，并根據(jù)節(jié)點(diǎn)v_i的所有子節(jié)點(diǎn)des(v_i)的節(jié)點(diǎn)特征值計(jì)算節(jié)點(diǎn)v_i的節(jié)點(diǎn)特征值attr_i；

步驟1.2、根據(jù)計(jì)算得到的特征值，計(jì)算整個(gè)工作流DAG的全局信息y，y＝f_job({attr_i,x_i|v_i∈V})，V為DAG中的節(jié)點(diǎn)集合，函數(shù)f_job(·)為計(jì)算全局信息的神經(jīng)網(wǎng)絡(luò)，x_i與attr_i作為函數(shù)f_job(·)的輸入；

步驟1.3、將節(jié)點(diǎn)特征值進(jìn)行排序形成節(jié)點(diǎn)排序，按照所述節(jié)點(diǎn)排序輸出節(jié)點(diǎn)特征值及全局信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，函數(shù)f(·)采用兩種神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，如下式所示：

其中f(·)和g(·)均為具有兩個(gè)隱含層的小前饋神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述策略網(wǎng)絡(luò)為帶有隱藏層的前饋神經(jīng)網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述步驟3中所述策略轉(zhuǎn)換器將所述動(dòng)作作為coflow調(diào)度策略并作用于所述環(huán)境中，即根據(jù)所述coflow調(diào)度策略調(diào)度待調(diào)度數(shù)據(jù)中心網(wǎng)絡(luò)，具體步驟如下：

步驟3.1、從所述調(diào)度優(yōu)先級(jí)列表P中，選出最高優(yōu)先級(jí)，找到與之相對(duì)應(yīng)的coflow即e_i，其中，M為進(jìn)入端口的數(shù)量，N為出行端口的數(shù)量，表示在e_i中從端口m流向端口n的流的標(biāo)準(zhǔn)化大小值；

步驟3.2、優(yōu)先調(diào)度e_i中標(biāo)準(zhǔn)化大小值最大的流計(jì)算流的完成時(shí)間并將此完成時(shí)間作為e_i的完成時(shí)間；

步驟3.3、對(duì)e_i中其余的流進(jìn)行調(diào)度時(shí)，按照完成時(shí)間與的差值進(jìn)行排序，優(yōu)先調(diào)度差值較小的流，直到完成e_i中所有流的調(diào)度；

步驟3.4、將此優(yōu)先級(jí)序號(hào)p_i從所述調(diào)度優(yōu)先級(jí)列表P中刪除，如果當(dāng)前調(diào)度優(yōu)先級(jí)列表P不為空，則執(zhí)行步驟3.1；否則，調(diào)度結(jié)束。