[發明專利]基于多智能體強化學習的無線充電設備協作任務卸載策略

有效

• 申請號: 202110499650.5
• 申請日: 2021-05-08
• 公開（公告）號: CN113518112B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 黃彬彬;吳昆澄;殷昱煜
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/1008;G06N3/04;G06N3/08;H02J50/40;H02J7/00
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

1.基于多智能體強化學習的無線充電設備協作任務卸載方法，其特征在于該方法包括以下步驟：

S1.建立系統模型：

設EH-D2D網絡由一個無線充電樁和n個移動設備MD＝{MD₁,…,MD_i,…,MD_n}組成；每個移動設備MD_i用多元組來表示，其中和分別表示低性能CPU和高性能CPU內核的數量；和分別表示低性能CPU和高性能CPU的最大計算能力；分別表示移動設備MD_i的執行功率，發送功率和接收功率；表示移動設備MD_i的電池容量；n個移動設備均通過無線充電站充電；

每個移動設備MD_i會產生相互獨立的任務，每個任務用一個二元組t＝(W,D)表示，其中W表示任務工作負載，D表示單位工作負載的數據量；每個移動設備MD_i包含一個等待執行隊列Q_i，該隊列主要用于存儲從其它移動設備卸載而來的任務以及由移動設備MD_i自身產生并留在本地執行的任務；

在EH-D2D網絡中，采用離散時間模型，將一個時間段邏輯上劃分為若干等長的時間片；每個時間片的長度為T_slot＝1s；用來表示時間片索引的集合；

S2.建立任務排隊模型：

設n個移動設備上任務的到達過程服從參數為λ＝(λ₁,…,λ_i,…,λ_n)的泊松分布；在每個時間片τ的開始，計算任務A(τ)＝(a₁(τ),…,a_i(τ),…,a_n(τ))到達n個移動設備；令μ_ij(τ)表示在時間片τ從移動設備MD_i卸載到移動設備MD_j的任務數；η_ij(τ)表示在時間片τ移動設備MD_i從移動設備MD_j接收的最大任務數；因此，執行隊列Q_i的狀態演化可根據公式(1)計算；

Q_i(τ+1)＝max[Q_i(τ)+a_i(τ)W-b_i(τ)W-∑_i≠jμ_ij(τ)W,0]+∑_j≠iμ_ji(τ)W (1)

μ_ji(τ)≤η_ij(τ) (2)

∑_j∈nμ_ij(τ)＝a_i(τ) (3)

∑_j∈nμ_ij(τ)≤a_i(τ) (4)

∑_j≠i,j∈nμ_ij(τ)+b_i(τ)≤Q_i(τ)+a_i(τ) (5)

其中b_i(τ)表示MD_i在時間片τ中執行的任務數，μ_ji(τ)表示在時間片τ中從MD_j卸載到MD_i上的任務數目；公式(2)表示在時間片τ中MD_j卸載給MD_i的任務數不能超過MD_i從MD_j上接收的最大任務數；公式(3)表示在時間片τ中MD_i上到達任務數是卸載到其他移動設備任務數與留在本地執行任務數之和；公式(4)表示在時間片τ中MD_i卸載到其他移動設備的任務總數∑_j≠i,j∈nμ_ij(τ)小于等于其上到達的任務數a_i(τ)；公式(5)表示在時間片τ中MD_i卸載到其他移動設備上的任務總數與本地執行的任務數之和小于等于Q_i中的任務數與其上到達任務數之和；

S3.建立電量模型：

在時間片τ中，移動設備MD_i的充電電量表示為其中μ∈[0,1]表示無線充電系數；P表示無線充電站的發射功率；h_i(τ)表示在時間片τ中無線充電站與移動設備MD_i之間的信道增益；在每個時間片τ的開始，移動設備MD_i的可用電量用來表示，其演化方式根據公式(6)計算：

其中和分別表示在時間片τ中MD_i執行任務，傳輸任務和接收任務所消耗的電池電量；公式(7)表示在時間片τ中，MD_i接收任務，執行任務和卸載任務所消耗的電池電量總和不能超過移動設備當前的可用電量；公式(8)表示在時間片τ中，MD_i當前的可用電量與充電電量之和不能超過MD_i的電池容量；

S4.建立網絡模型：

令和分別表示在時間片τ中MD_i與MD_j之間的上行傳輸速率和下行傳輸速率，通過公式(10)和(11)計算：

其中，BW_i^UL和BW_i^DL分別是MD_i上行鏈路和下行鏈路的信道帶寬；表示MD_i的傳輸功率；σ²是高斯噪聲功率；和分別表示移動設備MD_i到MD_j之間的上行信道增益和下行信道增益；由于MD_i與MD_j之間上下行的通信距離相同，所以通道增益和可通過計算，其中α是路徑損耗參數；θ是路徑損耗指數；d₀為參照距離；d_ij是MD_i與MD_j之間的距離；

S5.多智能體強化學習的協作任務卸載策略：

S51.定義狀態空間：每個移動設備MD_i被看作一個智能體；在時間片τ的開始，每個智能體當前的狀態O_i(τ)可被觀測，并將其用公式(12)表示；

其中Q_i(τ)表示在時間片τ中MD_i執行隊列中剩余任務的數量，G_i(τ)＝[G_i1(τ),…,G_i(i-1)(τ),G_i(i+1)(τ),…,G_in(τ)]表示在時間片τ中MD_i與除了它本身之外的其他移動設備之間的信道增益；表示在時間片τ中MD_i的可用電量；表示在時間片τ中MD_i的充電電量；a_i(τ)表示在時間片τ中到達MD_i的任務數；

S52.定義動作空間：每個智能體根據它當前的狀態O_i(τ)選擇一個動作A_i(τ)；動作A_i(τ)是由本地執行任務數，卸載任務數和最大接收任務數組成，并將其用公式(13)表示；

A_i(τ)＝[b_i(τ),μ_i(τ),η_i(τ)] (13)

μ_i(τ)＝[μ_i1(τ),…,μ_i(i-1)(τ),μ_i(i+1)(τ),…,μ_in(τ)] (14)

η_i(τ)＝[η_i1(τ),…,η_i(i-1)(τ),η_i(i+1)(τ),…,η_in(τ)] (15)

其中b_i(τ)表示在時間片τ中MD_i上執行的任務數，μ_i(τ)表示從MD_i卸載到其它(n-1)個移動設備的任務數向量，η_i(τ)表示MD_i從其他(n-1)個移動設備上可接收的最大任務數向量；在時間片τ中移動設備MD_i執行任務，卸載任務和接收任務所消耗的總電量不能超過MD_i的可用電量；

(1)執行任務所消耗的電量：移動設備采用動態調頻技術來動態調節CPU 頻率；在時間片τ中MD_i的計算能力和計算功率分別根據公式(16)和公式(17)計算：

其中a_i是與芯片架構有關的常數；和分別表示低性能CPU和高性能CPU內核的實際計算頻率；當移動設備MD_i決定在時間片τ中本地執行b_i(τ)任務時，使用公式(22)計算本地執行任務需要消耗的電量

(2)卸載任務所消耗的電量：在時間片τ中，移動設備MD_i實際卸載到移動設備MD_j的任務數μ′_ij可以用公式(19)表示；實際卸載任務所消耗的電量可以用公式(20)來計算：

執行任務，卸載任務和接收任務所消耗的電量之和不能超過移動設備的可用電量約束條件用公式(21)表示：

S53.定義獎勵函數：在多智能體協作任務卸載中，每個智能體根據其當前的狀態值O_i(τ)和選擇的動作A_i(τ)計算獎勵R_i；獎勵函數R_i是任務的平均處理時間Q_i(τ)，任務丟棄D_i(τ)以及電量懲罰P_i(τ)的加權和，用公式(22)表示：

其中ω₁，ω₂和ω₃分別是Q_i(τ)，D_i(τ)和P_i(τ)的加權系數；任務丟棄D_i(τ)可以根據公式(23)計算；

其中|Q_i|表示執行隊列Q_i的長度；公式(|Q_i|+b_i(τ)-Q_i(τ))表示執行隊列Q_i的可用空間；為了避免由于移動設備的電量耗盡而導致移動應用程序中斷，將電量損失閾值設置為h_i；當移動設備的可用電量與最大電池容量的比率小于h_i時，電量懲罰P_i(τ)可以用公式(24)計算：

S54.問題形式化：多用戶協作任務卸載問題建模為部分可觀測馬爾可夫決策過程；它的主要目標是最大化整個系統的獎勵；

Maximize:-R (25)

S6.策略實現：

設計了一種基于多智能體深度確定性策略梯度算法來求解多用戶協作任務卸載問題，求解過程為：

(1)在學習階段，首先初始化每個智能體的環境參數和網絡參數；環境參數主要包括執行隊列長度，移動設備之間的信道增益，可用電量以及無線充電站和移動設備之間的信道增益；網絡參數主要包括學習動作網絡、學習評價網絡、目標動作網絡、目標評價網絡和中繼緩存容量；然后，觀測每個智能體的當前狀態O_i(τ)，并根據當前狀態選擇每個智能體的動作A_i(τ)；其次，根據每個智能體當前的狀態O_i(τ)和采取的動作A_i(τ)，計算出即時獎勵R_i(τ)和下一個時間片(τ+1)時的狀態O_-i(τ+1)；最后，每個智能體將其狀態轉移四元組(O_i(τ),A_i(τ),R_i(τ),O_-i(τ+1))存儲到其中繼緩存Ω_i中；

(2)在訓練階段，每個智能體i首先會從其中繼緩存Ω_i中隨機抽取mini_batch個狀態轉移四元組；然后，每個智能體i分別根據目標動作網絡和目標評價網絡計算狀態O_-i(τ+1)的目標動作值和目標Q值；在目標評價網絡中更新狀態O_i(τ)的目標Q值，并根據該值更新估計Q網絡。