[發(fā)明專利]一種基于強化學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)資源分配方法

有效

• 申請?zhí)枺?/td>: 202110006111.3
• 申請日: 2021-01-05
• 公開（公告）號: CN112351433B
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計）人: 孫君;吳錫
• 申請（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號: H04W16/10
• 分類號: H04W16/10;H04W52/24;H04W52/34;H04W72/04
• 代理公司: 南京瑞弘專利商標(biāo)事務(wù)所(普通合伙) 32249
• 代理人: 徐激波

本發(fā)明公開了一種基于強化學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)資源分配方法，首先在每個基站部署DNN框架，該框架基于ADMM算法，并將信道信息當(dāng)作網(wǎng)絡(luò)的權(quán)重；根據(jù)基站所得到的數(shù)據(jù)，即當(dāng)前的用戶關(guān)聯(lián)信息、平均干擾功率，給出當(dāng)前狀態(tài)下最佳的資源分配策略；將每個基站視為獨立主體，基站的狀態(tài)被作為建模環(huán)境；若干代理程序觀察同一異構(gòu)網(wǎng)絡(luò)環(huán)境并采取行動，同時代理程序通過環(huán)境的獎勵相互溝通；代理商根據(jù)獎勵調(diào)節(jié)政策；本發(fā)明提供的資源分配方法基于深度學(xué)習(xí)網(wǎng)絡(luò)，無需全部CSI信息，即可給出資源分配方案，同時考慮了頻譜效率，將頻譜效率函數(shù)設(shè)置為代理的獎勵，可以在保證系統(tǒng)吞吐量的同時保證頻譜效率。

技術(shù)領(lǐng)域

本發(fā)明涉及無線通信技術(shù)領(lǐng)域，主要涉及一種基于強化學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)資源分配方法。

背景技術(shù)

隨著移動設(shè)備的快速增長和物聯(lián)網(wǎng)的出現(xiàn)，下一代無線網(wǎng)絡(luò)面臨著應(yīng)對無線應(yīng)用激增的巨大挑戰(zhàn)。最有前途的解決方案是使用具有各種傳輸功率和覆蓋范圍的微微小區(qū)和毫微微小區(qū)來增強現(xiàn)有的蜂窩網(wǎng)絡(luò)。這些異構(gòu)網(wǎng)絡(luò)（HetNet）可以將用戶設(shè)備（UE）從宏基站（MBS）轉(zhuǎn)移到微微基站（PBS），它們的傳輸功率和覆蓋范圍不同。此外，為了實現(xiàn)異構(gòu)網(wǎng)絡(luò)的高頻譜效率，PBS可以重復(fù)使用MBS并與MBS共享相同的信道。因此，異構(gòu)網(wǎng)絡(luò)被認為是增加未來無線通信系統(tǒng)容量的好策略。此類異構(gòu)網(wǎng)絡(luò)中存在一些優(yōu)化問題，例如頻譜分配和資源分配。最近一些研究提出了新方法，例如博弈論方法，線性規(guī)劃方法和馬爾可夫逼近策略。但是，這些方法需要幾乎完整的信息，而這些信息通常可能不可用。因此，對于上述方法而言，在沒有此類完整信息的情況下實現(xiàn)最佳解決方案具有挑戰(zhàn)性。

發(fā)明內(nèi)容

本發(fā)明針對異構(gòu)蜂窩網(wǎng)絡(luò)中的下行資源分配問題提出了一種動態(tài)資源分配方案。具體的為基站提供動態(tài)的功率分配和信道分配策略。為了提高異構(gòu)蜂窩網(wǎng)絡(luò)中的頻譜效率、能源效率，首先基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的優(yōu)化框架，該框架由一系列乘數(shù)交替方向方法（ADMM）迭代過程組成，使信道狀態(tài)信息(CSI)成為學(xué)習(xí)的權(quán)重。并應(yīng)用深度強化學(xué)習(xí)(DRL)框架，得到在頻譜效率（SE），能源效率（EE）的資源分配方案。

一種基于強化學(xué)習(xí)的異構(gòu)網(wǎng)絡(luò)資源分配方法，其特征在于，在一個具有M個基站和N個移動用戶的異構(gòu)網(wǎng)絡(luò)的下行鏈路中，宏基站MBS有個，微基站PBS有個，且滿足；

設(shè)定表示基站m與用戶n之間的關(guān)聯(lián)關(guān)系，表示基站m與用戶n關(guān)聯(lián)；表示基站m與用戶n無關(guān)；

設(shè)定表示頻譜狀態(tài)，當(dāng)用戶n與子載波k上的基站m相關(guān)聯(lián)時，頻譜狀態(tài)使用以下規(guī)則確定：表示用戶n使用子載波k；表示用戶n不使用子載波k；

設(shè)定表示用戶n與基站m在子載波k上的傳輸功率；具體如下：

表示每個小區(qū)基站的總發(fā)射功率應(yīng)該在預(yù)設(shè)功率限制之下；

采用塊衰落模型表示時隙t中用戶n到基站m的下行鏈路信道增益如下：

其中，表示包括路徑損耗和對數(shù)正態(tài)陰影在內(nèi)的大尺度衰落分量，遵循Jakes衰落模型；將小尺度瑞利衰落分量表示為一階高斯-馬爾可夫過程：