[發明專利]基于深度強化學習的毫米波混合波束成形設計方法

有效

• 申請號: 202010004664.0
• 申請日: 2020-01-03
• 公開（公告）號: CN111181619B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 李瀟;王琪勝;金石
• 申請（專利權）人: 東南大學
• 主分類號: H04B7/06
• 分類號: H04B7/06;G06N3/08;G06N3/04
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 薛雨妍

本發明公開了一種基于深度強化學習的毫米波混合波束成形設計方法，該方法中基站利用獲取的用戶信道狀態信息，通過計算互相關得到用戶的模擬預編碼矩陣；構建一個用于聯合優化用戶數字預編碼矩陣和模擬合并矩陣的深度強化學習智能體，將用戶信道信息及模擬預編碼矩陣輸入智能體，輸出相應的數字預編碼矩陣和模擬合并矩陣；基于最小均方誤差準則計算用戶的數字合并矩陣；本發明給出的基于深度強化學習的毫米波混合波束成形設計方法收斂速度快，具有較好的魯棒性，能有效提高系統頻譜效率。

技術領域

本發明涉及一種基于深度強化學習的毫米波混合波束成形設計方法，屬于基站配置均勻線性天線陣的點對點MIMO下行系統自適應傳輸技術領域。

背景技術

毫米波通信作為一種可以提高網絡傳輸速率和緩解頻譜資源短缺問題的有效方法被視作新一代無線通信網絡的關鍵技術之一。結合大規模多輸入多輸出(MIMO)的毫米波通信系統能充分利用空間資源，通過多個天線實現多發多收，在不增加頻譜資源和天線發射功率的情況下，成倍的提高系統信道容量，同時有效解決毫米波系穿透力弱，衰減快等問題。

然而，在實際應用中，大規模MIMO毫米波無線通信仍面臨著諸多挑戰。毫米波系統中波束成形矩陣的設計受到昂貴的射頻硬件的約束。傳統的全數字波束成形結構需要為每一根發射天線和接收天線配備一個射頻鏈路用于模數轉換和上下變頻，結合大規模MIMO之后，所需射頻鏈路數極大，導致系統復雜度不可接受。已有的混合預編碼技術將全數字預編碼拆分為高維的模擬預編碼和低維的數字預編碼，模擬預編碼可由簡單的相移器實現，數字預編碼維數較低，僅使用很少的射頻鏈路即可，可在一定程度上緩解這一問題。但現存混合預編碼技術主要基于壓縮感知技術和高發射信噪比的假設，將原始系統速率最大問題轉化為矩陣間歐氏距離最小問題，導致局部最優解；且算法的時間復雜度較高，會引入較大的通信處理時延，因此需要有新的低復雜度和高性能混合波束成形算法來進一步解決這些問題。

現有針對低復雜度毫米波混合預編碼算法的研究主要基于對矩陣求逆運算的簡化或使用深度監督學習方法。雖然應用這些方法之后時間復雜度有一定下降，但犧牲了一定的系統性能。深度監督學習方法對訓練數據量有很高的要求，且對信道衰落變化很敏感，對于穿透力弱，衰減快的毫米波信道來說，實際應用仍有困難。

發明內容

本發明的目的是為了克服現有技術中存在的不足，本發明為基站配置均勻線性天線陣，利用深度強化學習進行毫米波混合波束成形矩陣的設計和自適應傳輸，基于深度強化學習智能體無需對環境建模的特性和深度神經網絡強大的解決非線性優化問題的能力，能夠有效抑制干擾，并能以較低的計算復雜度獲取較高的系統頻譜效率和較低的接收誤比特率，且對信道衰落變化具有很好的魯邦性。

為達到上述目的，本發明采用的方法是：一種基于深度強化學習的毫米波混合波束成形設計方法，包括以下步驟：