[發(fā)明專利]一種移動(dòng)邊緣計(jì)算中基于強(qiáng)化學(xué)習(xí)的服務(wù)遷移方法

在審

• 申請?zhí)枺?/td>: 202111492744.6
• 申請日: 2021-12-08
• 公開（公告）號: CN114339879A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 何利;劉浩東
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: H04W28/02
• 分類號: H04W28/02;H04W28/08;H04W40/02
• 代理公司: 重慶市恒信知識產(chǎn)權(quán)代理有限公司 50102
• 代理人: 劉小紅

1.一種移動(dòng)邊緣計(jì)算中基于強(qiáng)化學(xué)習(xí)的服務(wù)遷移方法，其特征在于，包括以下步驟：

S1，根據(jù)用戶任務(wù)所處服務(wù)器位置、用戶當(dāng)前所處區(qū)域位置以及當(dāng)前處理任務(wù)的服務(wù)器負(fù)載構(gòu)建獎(jiǎng)勵(lì)函數(shù)；

S2，根據(jù)用戶當(dāng)前所處位置，之前移動(dòng)方向以及遷移決策構(gòu)建狀態(tài)轉(zhuǎn)移矩陣；

S3，根據(jù)所述獎(jiǎng)勵(lì)函數(shù)和所述狀態(tài)轉(zhuǎn)移矩陣，使用價(jià)值迭代算法進(jìn)行遷移決策制定；

S4，根據(jù)路由之間的時(shí)延消耗和網(wǎng)絡(luò)消耗做規(guī)范化處理來賦值鏈路消耗；

S5，根據(jù)規(guī)范化后的鏈路消耗，使用強(qiáng)化學(xué)習(xí)算法進(jìn)行路徑選擇并自適應(yīng)地更新鏈路選擇以適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)的鏈路變化。

2.根據(jù)權(quán)利要求1所述的一種移動(dòng)邊緣計(jì)算中基于強(qiáng)化學(xué)習(xí)的服務(wù)遷移方法，其特征在于，所述根據(jù)用戶任務(wù)所處服務(wù)器位置、用戶當(dāng)前所處區(qū)域位置以及處理任務(wù)服務(wù)器負(fù)載構(gòu)建獎(jiǎng)勵(lì)函數(shù)，具體包括：

(1)使用用戶距離處理任務(wù)服務(wù)器的距離d_t和處理任務(wù)服務(wù)器的負(fù)載h_t構(gòu)建用戶服務(wù)滿意度函數(shù)；

(2)使用用戶距離處理任務(wù)服務(wù)器的距離d_t構(gòu)建遷移消耗函數(shù)；

(3)使用服務(wù)滿意度函數(shù)和遷移消耗函數(shù)的加權(quán)和作為獎(jiǎng)勵(lì)函數(shù)。

3.根據(jù)權(quán)利要求2所述的一種移動(dòng)邊緣計(jì)算中基于強(qiáng)化學(xué)習(xí)的服務(wù)遷移方法，其特征在于，所述(1)使用用戶距離處理任務(wù)服務(wù)器的距離和處理任務(wù)服務(wù)器的負(fù)載構(gòu)建用戶滿意度c₁(s_t,a_t)，具體公式為：

c₁(s_t,a_t)＝D-μ₁d_t-μ₂h_t

其中，D表示用戶能夠獲得最大服務(wù)滿意度，d_t表示用戶t時(shí)刻距離處理任務(wù)服務(wù)器的距離，h_t表示t時(shí)刻處理任務(wù)的服務(wù)器負(fù)載情況，μ₁和μ₂是比例系數(shù)，表示距離和負(fù)載對于用戶服務(wù)滿意度的影響程度；d_t通過計(jì)算用戶當(dāng)前位置l_t＝(x_t,y_t)與處理任務(wù)服務(wù)器位置l_s＝(x_s,y_s)的歐式距離獲得；

(2)使用用戶距離處理任務(wù)服務(wù)器的距離d_t構(gòu)建遷移消耗函數(shù)c₂(s_t,a_t)：

c₂(s_t,a_t)＝μ₃+μ₄d_t

其中，使用距離d_t的線性函數(shù)表示遷移消耗，μ₃表示常數(shù)消耗，μ₄表示距離的影響系數(shù)；

(3)使用用戶服務(wù)滿意度函數(shù)和遷移消耗函數(shù)的加權(quán)和作為獎(jiǎng)勵(lì)函數(shù)r(s,a)：

其中，a表示遷移決策，a＝0表示不進(jìn)行遷移，a＝1表示進(jìn)行遷移；d_max表示任務(wù)被處理所允許的最大距離，超出該距離會有極大的懲罰M。

4.根據(jù)權(quán)利要求1所述的一種移動(dòng)邊緣計(jì)算中基于強(qiáng)化學(xué)習(xí)的服務(wù)遷移方法，其特征在于，所述根據(jù)用戶當(dāng)前所處位置，之前移動(dòng)方向以及遷移決策構(gòu)建狀態(tài)轉(zhuǎn)移矩陣，主要包括：

(1)記錄用戶當(dāng)前所處位置以及用戶前一時(shí)刻移動(dòng)方向；

(2)不同的移動(dòng)方向會對用戶接下來的移動(dòng)軌跡產(chǎn)生影響，用戶的移動(dòng)模型為用戶有較大的概率不改變方向，較小的概率改變方向；

(3)基于用戶的移動(dòng)模型與遷移決策，決定下一時(shí)刻用戶的狀態(tài)。