[發(fā)明專利]一種移動(dòng)邊緣計(jì)算中基于強(qiáng)化學(xué)習(xí)的服務(wù)遷移方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111492744.6
• 申請(qǐng)日: 2021-12-08
• 公開(kāi)（公告）號(hào): CN114339879A
• 公開(kāi)（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 何利;劉浩東
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): H04W28/02
• 分類號(hào): H04W28/02;H04W28/08;H04W40/02
• 代理公司: 重慶市恒信知識(shí)產(chǎn)權(quán)代理有限公司 50102
• 代理人: 劉小紅

本發(fā)明請(qǐng)求保護(hù)一種移動(dòng)邊緣計(jì)算中基于強(qiáng)化學(xué)習(xí)的服務(wù)遷移方法，包括下列主要步驟：S1，基于用戶任務(wù)所處服務(wù)器位置、用戶當(dāng)前所處區(qū)域位置以及處理任務(wù)服務(wù)器負(fù)載構(gòu)建獎(jiǎng)勵(lì)函數(shù)；S2，基于用戶當(dāng)前所處位置，之前移動(dòng)方向以及遷移決策構(gòu)建狀態(tài)轉(zhuǎn)移矩陣；S3，基于獎(jiǎng)勵(lì)函數(shù)和狀態(tài)轉(zhuǎn)移矩陣，使用價(jià)值迭代算法進(jìn)行遷移決策制定；S4，基于路由之間的時(shí)延消耗和網(wǎng)絡(luò)消耗做規(guī)范化處理來(lái)賦值鏈路消耗；S5，基于規(guī)范化后的鏈路消耗，使用強(qiáng)化學(xué)習(xí)算法進(jìn)行路徑選擇并自適應(yīng)地更新鏈路選擇以適應(yīng)動(dòng)態(tài)網(wǎng)絡(luò)的鏈路變化。本發(fā)明引入移動(dòng)預(yù)測(cè)使模型更加符合實(shí)際場(chǎng)景；使用強(qiáng)化學(xué)習(xí)求解動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境下自適應(yīng)的服務(wù)遷移路徑。

技術(shù)領(lǐng)域

本發(fā)明屬于移動(dòng)邊緣計(jì)算領(lǐng)域，特別是涉及一種移動(dòng)邊緣計(jì)算中基于強(qiáng)化學(xué)習(xí)的服務(wù)遷移方法。

背景技術(shù)

移動(dòng)邊緣計(jì)算通過(guò)將計(jì)算資源下放至距離用戶更近的各類節(jié)點(diǎn)上，為用戶提供更好的服務(wù)，更好地提高了系統(tǒng)的服務(wù)質(zhì)量(QoS)和提升了用戶的服務(wù)體驗(yàn)(QoE)。移動(dòng)邊緣計(jì)算的出現(xiàn)推動(dòng)了物聯(lián)網(wǎng)、5G和運(yùn)營(yíng)商個(gè)性化服務(wù)的發(fā)展，同時(shí)它也被廣泛應(yīng)用于增強(qiáng)現(xiàn)實(shí)(AR)、視頻優(yōu)化加速、視頻流分析、物聯(lián)網(wǎng)(IoT)和車聯(lián)網(wǎng)等領(lǐng)域之中。移動(dòng)邊緣計(jì)算中的主要問(wèn)題就是任務(wù)卸載的問(wèn)題，而任務(wù)卸載主要包括三個(gè)方面，分別是任務(wù)卸載的決策問(wèn)題、資源分配問(wèn)題和移動(dòng)性管理問(wèn)題。其中移動(dòng)性管理問(wèn)題產(chǎn)生于用戶的移動(dòng)性，一個(gè)有效地解決移動(dòng)性管理問(wèn)題的方法就是服務(wù)遷移。服務(wù)遷移通過(guò)將運(yùn)行在距離用戶較遠(yuǎn)距離的服務(wù)器上的服務(wù)遷移至距離用戶較近的服務(wù)器，極大地降低了時(shí)延，為用戶提供了更好的服務(wù)。

已有的服務(wù)遷移策略主要通過(guò)馬爾可夫決策過(guò)程、時(shí)間窗口技術(shù)和預(yù)測(cè)技術(shù)等來(lái)實(shí)現(xiàn)。服務(wù)遷移作為一個(gè)由于用戶移動(dòng)性所帶來(lái)的問(wèn)題，導(dǎo)致其考慮的往往是長(zhǎng)期的優(yōu)化，因此可以將服務(wù)遷移問(wèn)題建模為時(shí)序決策問(wèn)題來(lái)進(jìn)行求解，而馬爾可夫決策過(guò)程作為時(shí)序決策問(wèn)題的經(jīng)典形式化表示，可用于研究服務(wù)遷移問(wèn)題。時(shí)間窗口技術(shù)和預(yù)測(cè)技術(shù)能夠很好地對(duì)未來(lái)的能耗進(jìn)行預(yù)測(cè)，進(jìn)而能夠?qū)ふ易顑?yōu)化的服務(wù)放置策略，也同樣可以用來(lái)解決服務(wù)遷移問(wèn)題。

盡管服務(wù)遷移已經(jīng)使用上述方法進(jìn)行了諸多研究，但基于馬爾可夫決策過(guò)程的研究往往對(duì)于環(huán)境因素考慮不充足，同時(shí)也較少考慮用戶的實(shí)際移動(dòng)特性，并且遷移決策制定后如何進(jìn)行遷移的問(wèn)題也很少被提到。因此，綜合考慮多種環(huán)境因素做出遷移決策，并選擇合適的遷移路徑至關(guān)重要。

經(jīng)過(guò)檢索，申請(qǐng)公開(kāi)號(hào)為CN110347495A，一種使用深度強(qiáng)化學(xué)習(xí)進(jìn)行移動(dòng)邊緣計(jì)算的任務(wù)遷移方法，先設(shè)定系統(tǒng)模型各參數(shù)，再描述強(qiáng)化學(xué)習(xí)中的決策公式，然后基于公式給出任務(wù)遷移算法；通過(guò)本方法能夠獲得高效的任務(wù)遷移機(jī)制，而高效的任務(wù)遷移機(jī)制能夠提高系統(tǒng)實(shí)時(shí)性，充分利用計(jì)算資源，并減少能耗；本方法同時(shí)運(yùn)用了深度強(qiáng)化學(xué)習(xí)思想進(jìn)行任務(wù)調(diào)度，即決策是否遷移計(jì)算任務(wù)，尤其使用了馬爾可夫決策過(guò)程，能夠在極短時(shí)間內(nèi)給出較優(yōu)解，實(shí)時(shí)性強(qiáng)；本方法適用于用戶處在高速運(yùn)動(dòng)狀態(tài)時(shí)，解決是否更換使用的服務(wù)器基站問(wèn)題。在該專利中，通過(guò)使用深度強(qiáng)化學(xué)習(xí)算法求解移動(dòng)邊緣計(jì)算中任務(wù)遷移問(wèn)題，但是由于移動(dòng)狀態(tài)的不確定性，往往不能夠覆蓋用戶全部移動(dòng)軌跡。本專利通過(guò)使用用戶之前移動(dòng)方向預(yù)測(cè)用戶之后移動(dòng)方向，進(jìn)而構(gòu)建用戶移動(dòng)模型，再結(jié)合遷移與否的決策構(gòu)建狀態(tài)轉(zhuǎn)移矩陣，能夠覆蓋所有可能的用戶移動(dòng)狀態(tài)，進(jìn)而能夠求解更加符合實(shí)際場(chǎng)景的遷移決策問(wèn)題；同時(shí)本專利還針對(duì)遷移路徑的選擇問(wèn)題使用強(qiáng)化學(xué)習(xí)算法進(jìn)行了求解。

申請(qǐng)公開(kāi)號(hào)為CN110830560A，一種基于強(qiáng)化學(xué)習(xí)的多用戶移動(dòng)邊緣計(jì)算遷移方法，包括以下步驟：首先移動(dòng)設(shè)備確定當(dāng)前工作負(fù)載到達(dá)率、可再生能源和電池電量等狀態(tài)；然后通過(guò)訪問(wèn)動(dòng)作狀態(tài)值矩陣，根據(jù)∈-greedy策略決定在本地處理的任務(wù)量并采取相應(yīng)動(dòng)作；再計(jì)算可以反映當(dāng)前動(dòng)作好壞的獎(jiǎng)賞值并以此更新動(dòng)作狀態(tài)值矩陣；最后計(jì)算移動(dòng)設(shè)備的總成本(包括延遲成本和計(jì)算成本)。本發(fā)明將強(qiáng)化學(xué)習(xí)應(yīng)用于5G關(guān)鍵技術(shù)之一的移動(dòng)邊緣計(jì)算技術(shù)，并結(jié)合Q-learning無(wú)模型的優(yōu)勢(shì)，制定了移動(dòng)設(shè)備的任務(wù)分配策略，顯著減少了移動(dòng)設(shè)備的成本。該專利通過(guò)強(qiáng)化學(xué)習(xí)求解了多用戶任務(wù)遷移問(wèn)題，主要用于解決任務(wù)卸載過(guò)程中系統(tǒng)的長(zhǎng)期成本優(yōu)化問(wèn)題。與本專利求解不同位置不同移動(dòng)方向下遷移決策的制定問(wèn)題有所不同，同時(shí)本專利還求解了遷移路徑選擇問(wèn)題。