[發明專利]一種基于元強化學習算法的計算卸載方法

有效

• 申請號: 202210534342.6
• 申請日: 2022-05-17
• 公開（公告）號: CN114860337B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 楊釗;王廷;蔡海濱
• 申請（專利權）人: 華東師范大學
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/48;G06F9/50;G06N20/00
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種基于元強化學習算法的計算卸載方法，其特點是該方法采用在物聯網設備、邊緣服務器和云服務器協作式應用場景下建立任務卸載決策和資源分配模型，獲取當前卸載系統的狀態，然后通過元學習獲取學習模型，最后通過訓練獲取任務卸載決策。本發明與現有技術相比具有降低物聯網設備計算任務的時延和功耗，從而提升用戶體驗，有效解決了傳統的深度強化學習算法對新任務采樣效率低的問題，實現在動態環境中的快速計算卸載決策。

技術領域

本發明涉及移動邊緣計算技術領域，特別是一種基于元強化學習算法的計算卸載方法。

背景技術

隨著物聯網設備，如智能手機、傳感器和可穿戴設備等的快速增長和應用，大量的計算密集型任務需要從IoT設備轉移到云服務器上執行。然而，這些密集行任務的轉移過程會涉及到大量的數據傳輸，這將導致物聯網應用的高延遲。移動邊緣計算(MEC)的出現可以有效緩解這一挑戰。移動邊緣計算可以將復雜任務從物聯網設備中的計算密集型任務遷移到邊緣服務器中，從而為物聯網設備提供計算服務。通過利用邊緣服務器以及云服務器的計算和決策能力來減少計算延遲和能源，從而提升用戶的體驗質量。

但是，任務卸載的過程會受到不同因素的影響，如用戶習慣、無線信道通信、連接質量、移動設備可用性和云服務器性能等等。因此，做出最優決策是邊緣卸載的最關鍵問題。它需要決定任務是否應該被卸載到邊緣服務器或云服務器。如果大量的任務被卸載到云服務器上，帶寬將被占用，這將大大增加傳輸延遲。因此，需要有一個合理的卸載決策方案，使其能夠合理地將每個任務分配給處理服務器。一方面，物聯網環境中存在大量重復或類似的任務，往往需要從頭開始重新訓練，導致卸載決策效率低下；另一方面，一些物聯網應用場景對任務決策有嚴格的時間限制，卷積神經網絡(CNN)的學習速度慢，不適合滿足MEC系統中資源異質性和實時性的要求。

面對快速變化的物聯網應用場景，不能在每次MEC環境變化時通過重新計算來重新調整任務卸載決策和無線資源分配，否則會造成更高的服務延遲和成本。雖然，通過引入深度強化學習等智能算法，在MEC的卸載決策方面取得了一些良好的效果，但仍然存在學習速度慢、模型環境變化時原始網絡參數失效等挑戰。在實際應用場景中，MEC的環境往往隨時隨地受到很多因素的影響。傳統的智能算法通常是基于神經網絡的，當MEC環境發生變化時，其原有參數將全部失效，需要大量的訓練數據從頭開始訓練，這使得學習效率很低，重復訓練會消耗資源，削弱MEC系統的性能。同時，為了提高效率，還需要高配置的設備來適應高強度的訓練。考慮到物聯網的延遲和能源消耗，可以對具有一系列依賴性任務的工作流進行卸載決策。然而這個問題是NP-hard的，傳統的優化方法很難有效地取得結果。解決上述問題的一個有希望的方法是將深度學習技術，如深度強化學習(DRL)引入邊緣云協作的計算范式。由于傳統的DRL算法存在著學習速度較慢的缺點，導致訓練好的模型不能很好的適應變化的環境，從而影響用戶的體驗質量。

發明內容

本發明的目的是針對現有技術的不足而設計的一種基于元強化學習算法的計算卸載方法，采用在物聯網設備、邊緣服務器和云服務器協作式應用場景下建立任務卸載決策和資源分配模型的方法，獲取當前卸載系統的狀態，通過元學習獲取學習模型，然后通過模型訓練獲取任務卸載決策，該方法綜合考慮物聯網設備中任務流情況以及各個設備的狀態能夠優化卸載決策，使用元強化學習的算法，大大降低了物聯網設備計算任務的時延和功耗，方法簡便，效率高，有效解決了邊緣卸載系統中的任務卸載決策和資源分配，以及傳統的深度強化學習算法對新任務采樣效率低的問題，進一步降低物聯網設備處理計算任務的時延和能耗，從而能夠提升用戶的體驗質量。

本發明的目的是這樣實現的：一種基于元強化學習算法的計算卸載方法，其特點是采用構建任務卸載決策和資源分配模型的方法，獲取當前卸載系統的狀態，將其通過元學習獲取學習模型，然后通過模型訓練獲取任務卸載決策，計算卸載具體包括以下四個步驟：