[發明專利]一種基于增強學習的移動邊緣網絡資源分配方法

在審

• 申請號: 202010405524.4
• 申請日: 2020-05-14
• 公開（公告）號: CN111542107A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 韓龍哲;趙嘉;劉光明;王文豐;敖晨晨;李勝;鞠昌林
• 申請（專利權）人: 南昌工程學院
• 主分類號: H04W52/14
• 分類號: H04W52/14;H04W52/34;H04W72/04;G06N3/04;G06N3/08
• 代理公司: 鄭州豫原知識產權代理事務所(普通合伙) 41176
• 代理人: 李保林

1.一種基于增強學習的移動邊緣網絡資源分配方法，其特征在于：

S1，建立基于CSCN由兩張相同參數的卷積神經網絡qeval、qtarget構成深度增強學習模型；

S2，將基站與用戶終端之間的時變信道環境建模為有限狀態的時變馬爾科夫信道，確定基站與用戶之間的歸一化信道系數，并輸入卷積神經網絡qeval，選擇輸出回報值最大的動作作為決策動作，為用戶分配子載波；

S3，根據子載波分配結果，基于信道系數的反比為每個子載波上復用的用戶分配下行功率，基于分配的下行功率確定系統能量效率，基于所述系統能量效率確定回報函數，并將回報函數反饋回深度增強學習模型；

S4，根據確定的回報函數，訓練深度增強學習模型中的卷積神經網絡qeval、qtarget，若連續多次所得的系統能量效率值與預設閾值之間的差值在預設的范圍內或高于預設閾值，則當前分配的下行功率為時變信道環境下功率局部最優分配；

S5，運用GS算法進行資源分配，同時得到每個用戶的卸載方式、信道分配和時延，具體為：先遍歷用戶優先級矩陣的第一列，假如還有用戶沒有確定獲取方式，則在用戶優先級矩陣中為該用戶選擇最優的獲取方式；假如選擇的是MEC或者云計算的某個信道，并且該信道在此之前已經被另外的用戶分配了，于是比較信道優先級矩陣里該信道傾向于哪個用戶，即排序排在前面的用戶優先級高于另一個用戶從而該信道歸它所有，另一個用戶在此步驟將不會得到信道；假如有多個用戶占用多個信道，從而導致占用的信道數大于信道總數，則比較這些用戶的查閱量，選擇查閱量最好的那些用戶來占用信道，其余的用戶均采用本地查閱的方式。

2.根據權利要求1所述的一種基于增強學習的移動邊緣網絡資源分配方法，其特征在于：所述歸一化信道系數表示為：其中，Hn,k為歸一化信道系數，表示基站與用戶終端n在子載波k上的歸一化信道增益；Hn,k表示基站與用戶終端n在子載波k上的信道增益；表示在子載波k上的噪聲功率。

3.根據權利要求1所述的一種基于增強學習的移動邊緣網絡資源分配方法，其特征在于：所述基于緩存的CSCN的下行傳輸鏈路系統模型由一個云池和連接在云池上的L個SBS組成，每個SBS由l表示，時間段τ內考慮系統的網絡吞吐量，將τ劃分為F個等時間的時間周期t，τ＝Ft。

4.根據權利要求3所述的一種基于增強學習的移動邊緣網絡資源分配方法，其特征在于：所述基于緩存的CSCN的下行傳輸鏈路系統模型中，U個用戶由所有SBS通過C個子信道提供服務，每個子信道由c表示，每個用戶連接到最近的SBS，在每個SBS中，每個子信道每次只能分配給一個用戶，每個用戶每次僅占用一個子信道，pl,c(t)代表在時間周期t SBS l的子信道c的傳輸功率。

5.根據權利要求3所述的一種基于增強學習的移動邊緣網絡資源分配方法，其特征在于：所述內容服務器存儲的請求內容為M，每個SBS的緩存存儲的內容為G，其中G≤M述。