[發明專利]一種基于強化學習的多用戶移動邊緣計算遷移方法

在審

• 申請號: 201911020449.3
• 申請日: 2019-10-25
• 公開（公告）號: CN110830560A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 張光林;王璐瑤;沈至榕;張文倩;王琳
• 申請（專利權）人: 東華大學
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06N20/00
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 徐俊;柏子雵

本發明涉及一種基于強化學習的多用戶移動邊緣計算遷移方法，包括以下步驟：首先移動設備確定當前工作負載到達率、可再生能源和電池電量等狀態；然后通過訪問動作狀態值矩陣，根據∈?greedy策略決定在本地處理的任務量并采取相應動作；再計算可以反映當前動作好壞的獎賞值并以此更新動作狀態值矩陣；最后計算移動設備的總成本(包括延遲成本和計算成本)。本發明將強化學習應用于5G關鍵技術之一的移動邊緣計算技術，并結合Q?learning無模型的優勢，制定了移動設備的任務分配策略，顯著減少了移動設備的成本。

技術領域

本發明涉及移動計算技術領域，尤其涉及一種基于強化學習的多用戶移動邊緣計算遷移方法。

背景技術

MEC(移動邊緣計算)近年來受到越來越多的關注，其概念在2014年被提出。MEC作為一個新平臺，可以為靠近移動用戶的無線接入網絡提供IT服務環境和云計算功能。與移動云計算相比，MEC有時延低、節約能源以及安全性高等優勢。MEC服務器是小型的數據中心，與傳統的云量級數據中心相比，能耗大幅度降低。

隨著MEC服務器的廣泛部署，其能源消耗成為人們關注的焦點，與燃煤電廠產生的傳統電網能源相比，可再生能源顯著減少了碳排放量。對于具有能量采集功能的移動設備，有文獻提出基于Lyapunov優化算法的動態計算浮動策略。

此外，MEC系統的任務遷移策略近年來引起業界的廣泛關注。對于具有嚴格截止時間要求的應用，采用動態電壓和頻率調整(DVFS)技術將本地的執行能耗降至最低，并且使用數據傳輸調度優化了閃存計算的能耗。還可以通過分散計算的沖擊算法，以最大限度減少MEC系統用戶的計算成本。利用隨機控制算法，可以減少長期平均能耗。但上述方法僅僅關注了單用戶MEC系統，且部分方案采用離線算法，對狀態獲取要求較高，難以滿足現實需求。

發明內容

本發明的目的是：將可再生能源納入多用戶移動邊緣計算系統中，通過制定合理的移動設備的任務遷移策略，優化移動設備的總成本。

為了達到上述目的，本發明的技術方案是提供了一種基于強化學習的多用戶移動邊緣計算遷移方法，其特征在于，包括以下步驟：

S1、系統初始化參數，確定移動設備的個數N；將電池的最大容量設定為默認值，且默認電池初始電量為0；設置：移動設備的靜態功耗、標準化的電池單位損耗成本ω、備用電源成本系數初始化方法參數，初始化Q值均為零，設置加權過去值和新獎賞的學習率α，設置決定未來獎賞重要性的折合因子γ，進入下一步開始迭代；

S2、t時刻的移動設備觀察狀態s(t)，使用∈-貪婪算法決定t時刻的最佳的動作a(t)；

S3、進行上一步確定的動作a(t)，到達下一個狀態；

S4、根據獎賞函數求獎賞r；

S5、更新狀態動作值矩陣Q(s,a)，并設置下一個狀態作為當前狀態；

S6、判斷是否滿足迭代終止條件，若滿足，則計算整個方法執行后移動設備的總成本；若不滿足，則跳轉至步驟S2。

優選地，步驟S4中，所述獎賞r為t時刻前的平均成本與當前時刻成本的差。

優選地，步驟S6中，移動設備的總成本為時間延遲成本與電池損耗成本之和。

由于采用了上述的技術方案，本發明與現有技術相比，具有以下的優點和積極效果：本發明設計的獎賞函數不僅反映了實時的移動設備成本最優化，還包含歷史信息，與直接的即時獎賞函數相比，本發明設計的獎賞函數可以顯著提高系統學習效率。通過強化學習方法推導Q-learning策略，在時變和未知環境中實現了對實時移動設備成本的優化，比其他技術可以獲得更低的成本。

附圖說明

圖1是本發明的本發明的邊緣計算任務遷移模型圖。