[發明專利]一種基于深度強化學習的移動邊緣計算任務卸載方法

有效

• 申請號: 202111169616.8
• 申請日: 2021-10-08
• 公開（公告）號: CN113867843B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 魏貴義;陳釵君;王安定
• 申請（專利權）人: 浙江工商大學
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/50
• 代理公司: 杭州奧創知識產權代理有限公司 33272
• 代理人: 王佳健

本發明公開了一種基于深度強化學習的移動邊緣計算任務卸載方法。本發明首先，在考慮MEC的計算資源的基礎上，還考慮了云端依舊擁有大量的計算資源，采用邊云協同可以充分利用邊緣服務器和云端服務器的計算資源，相比于只使用邊緣服務器而言，可以更加快速地解決復雜計算問題。此外，考慮應用程序中具有依賴性的任務，更符合現實。通過對上述兩點進行建立模型，來最小化用戶應用程序的任務卸載總時延。以使得用戶獲得更低的延遲體驗，增強用戶設備擁有的計算能力。本發明通過深度強化學習快速尋找出最優的卸載決策，充分利用邊云協同的優勢，最小化用戶設備上的任務卸載總時延。

技術領域

本發明涉及無線通信技術領域，特別涉及一種基于深度強化學習的移動邊緣計算任務卸載方法。

背景技術

近年來，移動應用程序在各行各業都有著廣泛的應用，諸如媒體處理、在線游戲、增強現實、虛擬現實等新興應用程序。這些應用程序的運行具有低延遲和高數據速率的需求。這使得移動邊緣計算(Mobile?Edge?Computing,MEC)作為一種新興和有前景的計算范式應運而生，將計算和存儲資源部署在網絡邊緣，可以使得用戶應用獲得更低的延遲體驗，變相地增強用戶設備應用程序擁有的計算能力。

但在大量移動設備和物聯網設備的高度計算資源需求下，僅依靠MEC服務器進行計算是難以完成的，仍然會出現資源瓶頸。在考慮用戶設備與MEC服務器之間的網絡邊緣任務卸載的同時，還需要云端的強大計算能力來輔助MEC服務器，通過邊云協同來共同為移動設備提供相對低時延、高計算能力的服務。

目前大量的研究是基于用戶設備與MEC服務器之間的任務卸載，并未考慮云端依舊擁有大量的計算資源，且能夠針對特定場景優化計算環境的情況。此外，移動設備為了充分利用邊緣服務器和云端服務器計算能力，選擇將任務上傳到MEC服務器或云端，MEC和云端服務器計算能力快可以縮短時間，但是任務上傳需要時間，多個任務在MEC或云端服務器上排隊也會造成時延，所以需要良好的任務調度方法。此外，當新興應用程序進行細粒度卸載時，大部分任務之間具有依賴性關系，這也使得整個任務卸載工作的復雜程度大大增加。因此找到一種良好的任務卸載方法可以大大降低應用程序的時延。

發明內容

為了解決具有依賴性關系的任務在邊云協同場景下的卸載問題，本發明提供了一種基于深度強化學習的移動邊緣計算任務卸載方法。

本發明的技術構思為：首先，在考慮MEC的計算資源的基礎上，還考慮了云端依舊擁有大量的計算資源，采用邊云協同可以充分利用邊緣服務器和云端服務器的計算資源，相比于只使用邊緣服務器而言，可以更加快速地解決復雜計算問題。此外，考慮應用程序中具有依賴性的任務，更符合現實。通過對上述兩點進行建立模型，來最小化用戶應用程序的任務卸載總時延。以使得用戶獲得更低的延遲體驗，增強用戶設備擁有的計算能力。

本發明的具體步驟是：

步驟1、建立網絡通信模型；

由單個移動用戶設備、擁有MEC服務器的多個無線基站和云端服務器構成一個云-邊-用戶的三層網絡通信模型結構。

所述單個移動用戶設備擁有的任務具有依賴關系，每個無線基站都配備有相應的MEC服務器，且不同基站配備的服務器的能力不同。

步驟2、應用程序建模；

將具有時序依賴關系的任務建模為一個有向無環圖G＝(T，E)，其中T＝{t₀，t₁，...，t_n-1}代表任務集，E＝{e(t_i，t_j)|t_i，t_j∈T}代表任務之間的依賴關系。