[發(fā)明專利]一種基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算任務(wù)卸載方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111169616.8
• 申請(qǐng)日: 2021-10-08
• 公開（公告）號(hào): CN113867843B
• 公開（公告）日: 2023-09-01
• 發(fā)明（設(shè)計(jì)）人: 魏貴義;陳釵君;王安定
• 申請(qǐng)（專利權(quán)）人: 浙江工商大學(xué)
• 主分類號(hào): G06F9/445
• 分類號(hào): G06F9/445;G06F9/50
• 代理公司: 杭州奧創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 33272
• 代理人: 王佳健

1.一種基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算任務(wù)卸載方法，其特征在于該方法包括以下步驟：

步驟1、建立網(wǎng)絡(luò)通信模型；

由單個(gè)移動(dòng)用戶設(shè)備、擁有MEC服務(wù)器的多個(gè)無線基站和云端服務(wù)器構(gòu)成一個(gè)云-邊-用戶的三層網(wǎng)絡(luò)通信模型結(jié)構(gòu)；

所述單個(gè)移動(dòng)用戶設(shè)備擁有的任務(wù)具有依賴關(guān)系，每個(gè)無線基站都配備有相應(yīng)的MEC服務(wù)器，且不同基站配備的服務(wù)器的能力不同；

步驟2、應(yīng)用程序建模；

將具有時(shí)序依賴關(guān)系的任務(wù)建模為一個(gè)有向無環(huán)圖G＝(T，E)，其中T＝{t₀，t₁，...，t_n-1}代表任務(wù)集，E＝{e(t_i，t_j)|t_i，t_j∈T}代表任務(wù)之間的依賴關(guān)系；

每條邊e(t_i，t_j)上有一個(gè)值w_i，j關(guān)聯(lián)，代表任務(wù)t_i需要傳送給t_j的數(shù)據(jù)量，任務(wù)t_i用二元組r_i，x_i表示，r_i代表任務(wù)所需的指令數(shù)，x_i∈M代表設(shè)備的編號(hào),M＝{0，1，...，m}，其中編號(hào)0代表本地設(shè)備，編號(hào)1到m-1代表MEC服務(wù)器，編號(hào)m代表云端服務(wù)器；

步驟3、計(jì)算用戶設(shè)備的任務(wù)總卸載時(shí)延；

對(duì)于用戶設(shè)備的每個(gè)任務(wù)選擇任何一個(gè)MEC服務(wù)器或云端作為卸載目標(biāo)服務(wù)器，將該任務(wù)卸載到服務(wù)器上，任務(wù)總卸載時(shí)延包括任務(wù)傳輸時(shí)延、任務(wù)等待時(shí)延和任務(wù)計(jì)算時(shí)延；

步驟4、通過深度強(qiáng)化學(xué)習(xí)算法來尋找一個(gè)最優(yōu)的卸載決策，即所有任務(wù)選擇相應(yīng)的執(zhí)行設(shè)備來執(zhí)行使得所有任務(wù)總卸載時(shí)延最??；

智能體在當(dāng)前狀態(tài)下采取動(dòng)作進(jìn)入下一個(gè)狀態(tài)，同時(shí)得到環(huán)境返回的獎(jiǎng)勵(lì)，在智能體和環(huán)境不斷交互更新下，將不斷被優(yōu)化直到，找到最優(yōu)的卸載決策。

2.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算任務(wù)卸載方法，其特征在于：根據(jù)任務(wù)的有向無環(huán)圖，任務(wù)t_i有他的前繼任務(wù)集pre(t_i)和后繼任務(wù)集suc(t_i)；圖的出口任務(wù)t_exit的完成時(shí)間代表著整個(gè)應(yīng)用程序的結(jié)束時(shí)間，任務(wù)的總卸載時(shí)延就是應(yīng)用程序完成所需的時(shí)延。

3.根據(jù)權(quán)利要求2所述的一種基于深度強(qiáng)化學(xué)習(xí)的移動(dòng)邊緣計(jì)算任務(wù)卸載方法，其特征在于：任務(wù)在設(shè)備上的計(jì)算時(shí)延為：

其中代表任務(wù)t_i卸載到設(shè)備編號(hào)為x_i的處理能力；

任務(wù)t_i與任務(wù)t_j之間的傳輸時(shí)延為：

其中代表設(shè)備編號(hào)為x_i和x_j之間的傳輸帶寬；

任務(wù)等待時(shí)延用平均等待時(shí)間來表示；

對(duì)于有向無環(huán)圖中單個(gè)任務(wù)的開始時(shí)間計(jì)算為：

對(duì)于有向無環(huán)圖中單個(gè)任務(wù)的結(jié)束時(shí)間計(jì)算為：

根據(jù)上述公式計(jì)算，得到的出口任務(wù)的完成時(shí)間就是任務(wù)總卸載時(shí)延T^all：

T^all＝T_end(t_exit)

最小化任務(wù)總卸載時(shí)延的問題描述為：Min?T^all

約束條件為：X＝[x₀，x₁，...，x_n-1]，x_i∈{0，1，...，m}，X為卸載決策。