[發(fā)明專利]一種5G超密集組網(wǎng)資源分配方法及裝置

有效

• 申請?zhí)枺?/td>: 201910657277.4
• 申請日: 2019-07-19
• 公開（公告）號: CN110392377B
• 公開（公告）日: 2022-07-12
• 發(fā)明（設計）人: 陳瑩;劉智勇;陳昕
• 申請（專利權）人: 北京信息科技大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04W24/06
• 代理公司: 北京路浩知識產(chǎn)權代理有限公司 11002
• 代理人: 馬瑞

本發(fā)明實施例提供了一種5G超密集組網(wǎng)資源分配方法及裝置，方法包括：針對每個時刻的5G超密集組網(wǎng)系統(tǒng)狀態(tài)，基于貪婪策略進行決策，計算每個狀態(tài)對應的即時獎勵；將所述每個狀態(tài)對應的即時獎勵輸入深度神經(jīng)網(wǎng)絡中，擬合得到近似長期價值；將所述近似長期價值和實際長期價值對比，以更新長期價值函數(shù)；當所述長期價值函數(shù)收斂時，得到每個時刻的資源分配方案，并按照所述每個時刻的資源分配方案進行資源分配。本發(fā)明實施例提供的一種5G超密集組網(wǎng)資源分配方法及裝置，基于深度強化學習來解決隨機優(yōu)化問題，從而使得資源的分配能夠適應用戶到達和離開的隨機性，并且同時降低了求解復雜性。

技術領域

本發(fā)明涉及5G超密集組網(wǎng)和強化學習技術領域，尤其涉及一種5G超密集組網(wǎng)資源分配方法及裝置。

背景技術

隨著移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)技術的快速發(fā)展，對移動通信業(yè)務的需求也在迅速增長。智能設備的通信需求和海量物聯(lián)網(wǎng)環(huán)境促進了網(wǎng)絡基礎設施的密集化。超密集網(wǎng)絡UDN應運而生，將成為5G網(wǎng)絡的關鍵技術。在UDN架構中，單元的半徑會進一步減小，導致單元之間的干擾增加。此外，隨著網(wǎng)絡環(huán)境的變化，系統(tǒng)的性能要求也可能發(fā)生變化。因此，網(wǎng)絡資源配置應考慮與環(huán)境的交互作用，并且由于用戶設備在空間和時間上的不均勻性，使得UDN的資源管理更加困難。

現(xiàn)有的組網(wǎng)資源分配方法不能很好適應用戶到達和離開的高度動態(tài)性并且現(xiàn)有方法的求解復雜度較高，導致其無法很好滿足應用的服務質量要求并在實際環(huán)境中難以實施。

因此，現(xiàn)在亟需一種新的5G超密集組網(wǎng)資源分配方法來解決上述問題。

發(fā)明內容

為了解決上述問題，本發(fā)明實施例提供一種克服上述問題或者至少部分地解決上述問題的一種5G超密集組網(wǎng)資源分配方法及裝置。

第一方面本發(fā)明實施例提供一種5G超密集組網(wǎng)資源分配方法，包括：

針對每個時刻的5G超密集組網(wǎng)系統(tǒng)狀態(tài)，基于貪婪策略進行決策，計算每個狀態(tài)對應的即時獎勵；

將所述每個狀態(tài)對應的即時獎勵輸入深度神經(jīng)網(wǎng)絡中，擬合得到近似長期價值；

將所述近似長期價值和實際長期價值對比，以更新長期價值函數(shù)；

當所述長期價值函數(shù)收斂時，得到每個時刻的資源分配方案，并按照所述每個時刻的資源分配方案進行資源分配。

其中，所述5G超密集組網(wǎng)系統(tǒng)包括：

多個小小區(qū)組成的宏小區(qū)，所述宏小區(qū)包括一個宏基站，每個小小區(qū)包括一個小基站。

其中，所述即時獎勵的計算函數(shù)為：

其中，r_t為即時獎勵，為5G超密集組網(wǎng)系統(tǒng)的能量效率，為5G超密集組網(wǎng)系統(tǒng)的頻譜效率，ξ^(t)為能量效率與頻譜效率之間的權衡因子。

其中，所述長期價值函數(shù)為：

Q(s_t,a_t)＝(1-α)Q(s_t,a_t)+α[r_t+γmaxQ(s_t+1,a_t+1)]；

其中，α表示學習效率，γ表示折扣因子，s_t表示t時刻系統(tǒng)的狀態(tài)，表示所述宏基站在t時刻做出的決策。

其中，所述方法還包括：

獲取每個時刻的5G超密集組網(wǎng)系統(tǒng)的系統(tǒng)狀態(tài)，所述系統(tǒng)狀態(tài)包括每個小小區(qū)的用戶數(shù)量、每個小基站的吞吐量以及資源塊的復用情況。

其中，所述將所述每個狀態(tài)對應的即時獎勵輸入深度神經(jīng)網(wǎng)絡中，擬合得到近似長期價值，包括：