[發明專利]一種基于深度強化學習的全雙工認知通信功率控制方法

有效

• 申請號: 202110473425.4
• 申請日: 2021-04-29
• 公開（公告）號: CN113225794B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 卜智勇;魯敏;周斌
• 申請（專利權）人: 成都中科微信息技術研究院有限公司
• 主分類號: H04W52/14
• 分類號: H04W52/14;H04W52/24;H04W52/26;G06N3/08
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 徐靜

本發明提供一種基于深度強化學習的全雙工認知通信功率控制方法，包括：步驟1，建立全雙工認知通信系統；步驟2，初始化所述全雙工認知通信系統的系統參數；步驟3，基于發射機的某發射功率，計算接收機相應的信干噪比；步驟4，初始化發射機的發射功率以及動作集合，構建次用戶發射機功率控制的馬爾可夫決策模型；步驟5，基于次用戶發射機功率控制的馬爾可夫決策模型，運用深度強化學習中的DQN算法訓練優化目標函數，得到最優的次用戶發射機的功率控制策略；步驟6，進行次用戶發射機的功率控制。本發明能夠實現根據無線電環境調整發射功率，滿足通信系統中所有用戶服務質量要求，并且計算量及參數量較少，適合在硬件設備上部署。

技術領域

本發明涉及機器學習以及無線通信技術領域，具體而言，涉及一種基于深度強化學習的全雙工認知通信功率控制方法。

背景技術

隨著第五代(5G)移動通信和物聯網(IoT)技術的迅速發展，海量的設備鏈接和各種新興業務不斷涌入，無線頻譜資源變得愈加緊缺。傳統的頻譜分配方法導致頻譜資源無法充分使用，難以滿足未來一段時間內無線通信的需求。日益增長的頻譜需求以及有限的頻譜資源之間的矛盾必將成為限制未來無線通信技術發展的重要因素之一。認知無線電技術和全雙工技術均被認為是提高頻譜資源利用效率的關鍵技術。

全雙工(即同時同頻全雙工)技術的特點是用戶可以在同一時間以相同的頻率進行信號的接收和發送，該技術近年來備受關注，逐漸成為當前信息領域的研究熱點和重要發展方向。全雙工無線通信面臨的主要技術難點是“自干擾問題”，現有的基于天線域、射頻域以及數字域的自干擾消除技術已經比較成熟，可將自干擾信號強度有效衰減70～120dB，從而保證了這一技術在實際通信系統中的有效應用。

認識無線電技術的基本思想是當授權用戶(主用戶，PU)不使用該頻段或非授權用戶(次用戶，SU)對主用戶的干擾低于一定閾值時，非授權用戶可以使用該頻段，進而提高頻譜使用效率。功率控制技術是認知無線電網絡中實現主、次用戶共享頻譜資源的關鍵技術之一。傳統的功率控制算法主要分為兩種：靜態功率控制算法和動態功率控制算法。

靜態功率控制算法需要知道通信系統的準確的數學模型并假設系統的參數精確已知，通過優化具有一系列約束條件的能夠描述通信系統性能的目標函數來求解最優的功率。即將無線電網絡功率控制描述為一個約束優化問題，通過求解一個或多個優化目標來獲得各次用戶最優的發射功率。針對不同網絡功率控制需求，功率分配優化的目標在各個網絡中也有所不同，常見的優化目標有：最大化認知無線電網絡能量有效性以及最大化次用戶的傳輸效率。這些方案均假設通信系統的信道狀態是理想已知的，由于實際中無線信道的復雜性和時變性，這一假設是十分不合理的。考慮到通信系統參數的不確定性，采用魯棒性優化理論的功率控制算法將參數的隨機特性假設為一個不確定性集合并通過Bayesian等方法進行最優功率的求解。在認知無線電網絡中，各用戶的離開和加入都是隨機的，通信系統時變性較高的特點使得這一基于概率統計模型的功率分配方案不能很好地滿足系統的性能要求。

動態功率控制算法考慮到了通信系統的時變特性，如測量誤差以及延遲反饋，主要包括分布式受限的功率控制算法(DCPC)和基于效用的功率控制算法(UBPC)。DCPC算法基于信干噪比以及接收端信干噪比的要求，迭代調整發射機功率以滿足全部用戶的服務質量(QoS)要求。UBPC算法則是基于“軟”信噪比(SIR)，所謂“軟”信噪比，指的是當用戶感知到網絡流量擁塞時，用戶將自動減少其目標SIR。然而認知無線電網絡信道變化迅速，這使得動態功率控制算法參數調整存在滯后效應，難以滿足認知無線電網絡功率控制算法所要求的適應性和靈活性。