[發明專利]基于深度確定性策略梯度的移動邊緣計算分流決策方法

有效

• 申請號: 201810343313.5
• 申請日: 2018-04-17
• 公開（公告）號: CN108632862B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 黃亮;馮旭;錢麗萍;吳遠
• 申請（專利權）人: 浙江工業大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04W28/10;H04W28/06
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于深度確定性策略梯度方法的移動邊緣計算分流決策方法，包括以下步驟：1)計算出在給出分流決策下系統中所有的能量損耗；2)通過深度確定性策略方法來尋找一個最優的分流決策x_nm，所有用戶的分流決策x_nm都被編進執行單元所需的狀態x_t；3)所有無線設備的分流決策x_nm作為深度確定性策略方法的狀態x_t，動作a則是對狀態x_t的更改，更改后系統的總能量損耗會與一個設定的標準值進行比較，如果比這個標準值大則使當前獎勵r(x_t，a)設為正值，反之設為負值，同時系統進入下一狀態x_t+1，不斷重復這個迭代過程直到得到最佳分流決策x_nm。本發明在保證用戶體驗的前提下最小化能量損耗。

技術領域

本發明屬于通信領域，尤其是涉及移動邊緣計算的通信系統以及基于深度確定性策略梯度方法的移動邊緣計算分流決策方法。

背景技術

隨著無線通信技術的廣泛發展，無線通信技術已經滲入到人類生活的方方面面。移動邊緣計算拓展了移動設備的能力，在豐富的云資源的幫助下，用戶體驗得到極大提升。在一個多用戶的移動通信系統中，所有用戶共同占用傳輸資源。用戶將自身的任務分流至基站或者云端時，可以減少自己的能量損耗，但這些被分流的任務的服務質量會受一些額外損耗的影響，比如傳輸延時。為了最小化所有的能量損耗，保證服務質量，最優的任務分流決策方法應用是很有必要的。

發明內容

為了克服現有移動通信網絡的能量損耗較大的不足，為了最小化系統中所有的能量損耗，保證服務質量，本發明提供了一種適用于移動邊緣計算的基于深度確定性策略梯度方法的分流決策方法，在保證用戶體驗的前提下最小化能量損耗。

本發明解決其技術問題所采取的技術方案是：

一種基于深度確定性策略梯度方法的移動邊緣計算分流決策方法，所述方法，包括以下步驟：

1)在一個由多個用戶組成，并且每個用戶都有多個獨立的任務的移動通信系統中，x_nm為用戶n的任務m的分流決策，如果x_nm為1則表示用戶n的任務m將被分流至基站或云端處理，x_nm為0則表示在本地處理；當用戶n的任務m被分流時，其上行傳輸速率和下行傳輸速率受傳輸總帶寬C_U和C_D的限制；當用戶n的任務m在本地處理時，本地移動設備所產生的能量損耗為如果在云端處理時，所產生的能量損耗為系統總損耗最小化表示為：

約束條件為：

式中：

其中，各參數定義如下：

N：用戶人數；

M：每個用戶的任務數；

x_nm：用戶n的任務m的分流決策，為1時表示在云端處理，為0時在本地處理；

用戶n的任務m在本地處理時的能量損耗；

用戶n的任務m被分流時，傳輸過程中能量損耗；

用戶n的任務m在云端處理時的能量損耗；

ρ：在云端處理時，能量損耗的轉化權重；

ω_n：用戶n延時損耗的轉化權重；

用戶n的任務m在本地處理時的延時損耗；