[發明專利]一種基于強化學習的能量采集D2D通信資源分配方法

有效

• 申請號: 201911029964.8
• 申請日: 2019-10-28
• 公開（公告）號: CN110784882B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 朱琦;蘇娜
• 申請（專利權）人: 南京郵電大學
• 主分類號: H04W24/02
• 分類號: H04W24/02;H04W28/02;H04W72/08;H04B17/336;H04B17/382
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

本發明公開了一種基于強化學習的能量采集D2D通信資源分配方法。該方法中D2D發送端采用模式A與D2D接收端直接通信，或者采用模式B充當中繼協助蜂窩通信的同時應用NOMA技術與D2D接收端通信。首先推導了用戶采用不同模式通信時的中斷概率表達式；然后假設已知所有時刻的能量采集和信道狀態信息，利用KM算法為D2D用戶分配信道以及為蜂窩用戶選擇中繼，同時考慮能量因果性約束和最大發送功率限制，利用強化學習方法優化D2D用戶的發送功率。本發明考慮D2D發送端可以充當中繼協助邊緣蜂窩用戶通信，在滿足用戶服務質量和能量約束的條件下優化D2D用戶和蜂窩用戶的資源分配，可以提高D2D用戶和模式B蜂窩用戶的總容量，允許更多的邊緣蜂窩用戶接入網絡。

技術領域

本發明屬于無線通信技術領域，具體涉及一種基于強化學習的能量采集D2D通信資源分配方法。

背景技術

隨著互聯網技術的發展，越來越多的用戶需要接入到無線網絡中，然而頻譜資源是有限的，如何利用有限的頻譜資源使得更多的用戶可以進行無線通信成為急需解決的問題。D2D通信允許兩個物理距離較近的用戶終端之間建立直接通信鏈路，通過復用蜂窩網絡的授權頻段進行點到點通信。由于共享頻譜資源，D2D通信允許更多的用戶終端接入到網絡中。中繼技術通過對信號進行接收和轉發，可以提高小區的覆蓋范圍。將D2D通信與中繼技術相結合，可以更好地部署未來網絡，提高用戶服務質量。因為D2D用戶的距離較近，能耗較低，可以考慮使用能量采集技術解決供能問題，實現綠色通信。

但是，D2D通信與傳統蜂窩通信使用相同頻譜資源時，D2D用戶與蜂窩用戶之間存在互干擾，因此D2D通信系統中需要合理的干擾管理。另外，由于環境的不確定性，能量采集也是資源分配中的重要考慮因素。

發明內容

發明目的：為了克服現有技術中存在的不足，本發明提供一種基于強化學習的能量采集D2D通信資源分配方法，通過為D2D用戶分配合理的信道資源、為蜂窩用戶選擇合適的中繼以及優化D2D用戶的發送功率，降低邊緣用戶通信的中斷概率，提高D2D用戶和蜂窩用戶的總容量。

技術方案：為實現上述目的，本發明提供一種基于強化學習的能量采集D2D通信資源分配方法，具體包括以下步驟：

(1)：用UCU＝{UCU₁,...,UCU_i,...,UCU_I}、DCU＝{DCU₁,...,DCU_m,...,DCU_M}和DU＝{DU₁,...,DU_n,...,DU_N}分別表示上行蜂窩用戶集、下行蜂窩用戶集和D2D用戶集，其中UCU_i、DCU_m和DU_n分別表示上行蜂窩用戶i，下行蜂窩用戶m和D2D用戶n，I、M和N分別表示系統中上行蜂窩用戶數、下行蜂窩用戶數和D2D用戶對數，每個D2D用戶對包括一個D2D發送端和一個D2D接收端；

(2)：初始化采用模式A、B的D2D用戶集采用模式B的下行蜂窩用戶集DU_n復用UCU_i信道在時段k的發送功率取值為系統預設的最大發送功率其中模式A時D2D用戶間直接通信、基站與下行蜂窩用戶直接通信，模式B時D2D發送端充當中繼協助基站與下行蜂窩用戶通信的同時應用NOMA技術與D2D接收端通信；

(3)：對所有D2D用戶DU_n∈DU和上行蜂窩用戶UCU_i∈UCU，計算模式A時D2D用戶通信的中斷概率和上行蜂窩用戶通信的中斷概率O_in,k，如果成立，則將DU_n添加到集合中，并計算DU_n復用UCU_i信道時K個時段的容量反之DU_n不能進行通信，其中ξ表示中斷概率閾值，K表示總時段數；