[發明專利]一種超密集網絡中基于MEC-SBS簇化的負載調度方法

有效

• 申請號: 202011419764.6
• 申請日: 2020-12-07
• 公開（公告）號: CN112601256B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 覃少華;陸鵬;廖元秀;趙鑫
• 申請（專利權）人: 廣西師范大學
• 主分類號: H04W28/08
• 分類號: H04W28/08;H04W40/04;H04W56/00
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 楊雪梅

1.一種超密集網絡中基于MEC-SBS簇化的負載調度方法，其特征在于，所述方法包括如下步驟：

步驟一、初始化：其中包括構建初始協作簇和對DDPG算法中的參數的初始化，具體包括：

(1)采用k-means分簇算法構建初始協作簇，根據k-means算法的分簇結果為網絡中的MEC-SBS分配簇號，簇號相同的MEC-SBS組成一個協作簇，并隨機選擇協作簇中一個MEC-SBS作為簇頭負責收集協作簇中計算負載信息和做出計算負載調度策略；

(2)各協作簇中簇頭MEC-SBS通過并行方式運行DDPG算法，協作簇的簇頭MEC-SBS定期和宏基站邊緣服務器同步參數；

(3)初始化DDPG算法中當前策略網絡的學習率當前Q值網絡的學習率折扣因子γ、更新系數τ和訓練樣本大小Z；

步驟二、卸載計算任務：移動用戶設備選擇與之信道增益最好的MEC-SBS進行關聯，然后向與之關聯的MEC-SBS卸載其產生的計算任務；

步驟三、判斷是否調整協作簇：各協作簇中簇頭MEC-SBS收集簇中所有MEC-SBS上計算負載信息，即協作簇中MEC-SBS的總計算負載量l_k(t)，并判斷簇中計算負載是否過載；若過載，則簇頭MEC-SBS向宏基站邊緣服務器請求調整協作簇；若不過載，則不調整；

步驟四、同步參數：各協作簇中的簇頭MEC-SBS從宏基站邊緣服務器同步全局參數并進行目標網絡參數更新，目標網絡的神經網絡參數更新采用軟更新的方式進行更新，具體更新公式如下表示：

w′_k＝τw_k+(1-T)w′_k (1)，

θ′_k＝τθ_k+(1-τ)θ′_k (2)，

其中θ′_k表示協作簇k中目標策略網絡的神經網絡參數，θ_k表示協作簇k中當前策略網絡的神經網絡參數，w′_k表示協作簇k中目標Q值網絡的神經網絡參數，w_k表示協作簇k中當前目標Q值網絡的神經網絡參數；

步驟五、構建DDPG模型：協作簇中MEC-SBS的計算負載量表示DDPG的當前狀態，協作簇中MEC-SBS的計算負載卸載表示為DDPG的動作，使用協作簇中計算任務的平均計算服務延時構建DDPG模型中的獎勵值，通過DDPG算法求出最優的簇中負載調度策略，最優的簇中負載調度策略即MEC-SBS上最優的卸載動作，DDPG模型的具體描述如下：

狀態：用簇中MEC-SBS上的計算負載量表示，協作簇k中的狀態具體表示如下：

其中為在時間槽t時，MEC-SBS第i個的計算負載量；

動作：用簇中MEC-SBS的計算負載卸載動作表示，協作簇k中的動作具體表示如下：

其中表示協作簇k中MEC-SBS第i個卸載到簇中其他MEC-SBS第i′個的計算負載量；

獎勵：用簇中計算任務的平均服務延時表示，協作簇k中的獎勵具體表示如下：

其中表示在時間槽t時，網絡中MEC-SBS第i個的計算任務總的處理時間，表示在時間槽t時，網絡中MEC-SBS第i個傳輸計算任務的傳輸時延；

各協作簇中DDPG算法具體運行流程如下：

(1)各簇頭上Actor觀察得到的當前環境狀態根據行為策略執行動作獲得獎勵環境轉換到

(2)各簇頭Actor將狀態轉移過程存到本地經驗回放集合D_k中；

(3)隨機從經驗回放集合D_k中選取Z個樣本，作為訓練策略網絡和Q值網絡的數據集；

(4)根據樣本通過Actor的目標策略網絡和Critic的目標Q值網絡得到的值和當前網絡得到的估計值之差來更新當前網絡的神經網絡參數；

Critic網絡參數更新采用均方誤差來作為損失函數，公式具體表示為：

基于標準的方向傳播算法可以得到損失函數L(w)關于Critic的當前Q值網絡參數w的梯度，具體公式表示為：

其中

Actor網絡參數更新方式采用確定策略梯度方式，Actor當前策略網絡的梯度計算具體公式表示為：

(5)簇頭MEC-SBS將網絡參數和上傳到宏基站邊緣服務器；

步驟六、更新全局參數：宏基站邊緣服務器更新全局參數，為下一次負載調度做準備。