[發明專利]一種基于增強學習的移動邊緣網絡資源分配方法

在審

• 申請號: 202010405524.4
• 申請日: 2020-05-14
• 公開（公告）號: CN111542107A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 韓龍哲;趙嘉;劉光明;王文豐;敖晨晨;李勝;鞠昌林
• 申請（專利權）人: 南昌工程學院
• 主分類號: H04W52/14
• 分類號: H04W52/14;H04W52/34;H04W72/04;G06N3/04;G06N3/08
• 代理公司: 鄭州豫原知識產權代理事務所(普通合伙) 41176
• 代理人: 李保林

本發明公開了一種基于增強學習的移動邊緣網絡資源分配方法，S1，建立基于CSCN由兩張相同參數的卷積神經網絡qeval、qtarget構成深度增強學習模型；S2，將基站與用戶終端之間的時變信道環境建模為有限狀態的時變馬爾科夫信道，確定基站與用戶之間的歸一化信道系數，并輸入卷積神經網絡qeval。該基于增強學習的移動邊緣網絡資源分配方法，以便在考慮了高復雜度的時變信道基礎上，使用深度增強學習模型，將計算復雜度轉換到訓練深度增強學習模型的過程中，從而以較低復雜度選取決策動作，確定時變信道環境下，基站到用戶終端的子載波局部最優分配，最大限度地提高時變信道環境中的能量效率。

技術領域

本發明涉及網絡學習技術領域，具體為一種基于增強學習的移動邊緣網絡資源分配方法。

背景技術

如今人們對信息的了解和知識的獲取，大都取決于收集移動設備上；隨著眾多移動設備的廣泛普及和應用，為了滿足現階段移動數據快速增長的需求，業內有關人士提出了大量全新的網絡架構。

基于緩存的CSCN是目前最具前景的架構之一，其由一個云池和若干個連接于云池的SBS(small base station,小基站)組成。由于SBS相對于宏基站具有功率小、價格低且能夠靈活補充宏基站不能覆蓋的盲區等優點，因此，對基于緩存的CSCN的資源分配研究非常有意義。

傳統的隨機分配方法通過SBS隨機分配信道給用戶，盡管這一方法能夠實現網絡信道資源的分配，但是采用這樣的方式，會出現信道資源利用率低的問題，從而會導致用戶滿意度的降低。

綜上所述，如何在現有技術的基礎上提出一種全新的網絡資源分配方法，充分結合諸多現有技術的優點、克服其不足，從而實現對信道資源的合理分配、最大限度地提高系統的網絡吞吐量，也就成為了目前業內研究人員亟待解決的問題。

發明內容

(一)解決的技術問題

針對現有技術的不足，本發明提供了一種基于增強學習的移動邊緣網絡資源分配方法，通過將基站與用戶終端之間的時變信道環境建模為有限狀態的時變馬爾科夫信道，以便在考慮了高復雜度的時變信道基礎上，使用深度增強學習模型，將計算復雜度轉換到訓練深度增強學習模型的過程中，從而以較低復雜度選取決策動作，確定時變信道環境下，基站到用戶終端的子載波局部最優分配，最大限度地提高時變信道環境中的能量效率，解決了上述的問題。

(二)技術方案

為實現上述目的，本發明提供如下技術方案：一種基于增強學習的移動邊緣網絡資源分配方法，

S1，建立基于CSCN由兩張相同參數的卷積神經網絡qeval、qtarget構成深度增強學習模型；

S2，將基站與用戶終端之間的時變信道環境建模為有限狀態的時變馬爾科夫信道，確定基站與用戶之間的歸一化信道系數，并輸入卷積神經網絡qeval，選擇輸出回報值最大的動作作為決策動作，為用戶分配子載波；

S3，根據子載波分配結果，基于信道系數的反比為每個子載波上復用的用戶分配下行功率，基于分配的下行功率確定系統能量效率，基于所述系統能量效率確定回報函數，并將回報函數反饋回深度增強學習模型；

S4，根據確定的回報函數，訓練深度增強學習模型中的卷積神經網絡qeval、qtarget，若連續多次所得的系統能量效率值與預設閾值之間的差值在預設的范圍內或高于預設閾值，則當前分配的下行功率為時變信道環境下功率局部最優分配；