[發明專利]一種基于深度強化學習的全雙工認知通信功率控制方法

有效

• 申請號: 202110473425.4
• 申請日: 2021-04-29
• 公開（公告）號: CN113225794B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 卜智勇;魯敏;周斌
• 申請（專利權）人: 成都中科微信息技術研究院有限公司
• 主分類號: H04W52/14
• 分類號: H04W52/14;H04W52/24;H04W52/26;G06N3/08
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 徐靜

1.一種基于深度強化學習的全雙工認知通信功率控制方法，其特征在于，包括如下步驟：

步驟1，建立全雙工認知通信系統；所述全雙工認知通信系統包括一對下行鏈路模式下工作在半雙工模式下的主用戶發射機TX₁和主用戶接收機RX₁，一個工作在全雙工模式下的次用戶發射機TX₂，以及一個工作在半雙工模式下的次用戶接收機RX₂；

步驟2，初始化所述全雙工認知通信系統的系統參數；

步驟3，基于主用戶發射機TX₁和次用戶發射機TX₂的某發射功率，計算主用戶接收機RX₁和次用戶接收機RX₂相應的信干噪比；

步驟4，初始化主用戶發射機TX₁，次用戶發射機TX₂的發射功率以及動作集合，構建次用戶發射機TX₂功率控制的馬爾可夫決策模型；

步驟5，基于所述次用戶發射機TX₂功率控制的馬爾可夫決策模型，運用深度強化學習中的DQN算法訓練優化目標函數，得到最優的次用戶發射機TX₂的功率控制策略；

步驟6，采用所述最優的次用戶發射機TX₂的功率控制策略進行次用戶發射機TX₂的功率控制；

步驟1中所述全雙工認知通信系統中的主用戶發射機TX₁、主用戶接收機RX₁、次用戶發射機TX₂和次用戶接收機RX₂設置如下：

(1)次用戶發射機TX₂具有自干擾消除能力，并能夠在同一時間和頻率上進行信號的發送和接收；

(2)主用戶發射機TX₁、主用戶接收機RX₁和次用戶接收機RX₂不具備自干擾消除能力，在同一時間和頻率上進行信號的發送或者接收；

(3)主用戶發射機TX₁與次用戶發射機TX₂采用不同的功率控制方法，即主用戶發射機TX₁采用預先定義的功率控制算法，次用戶發射機TX₂采用所述基于深度強化學習的全雙工認知通信功率控制方法；

(4)主用戶發射機TX₁與次用戶發射機TX₂彼此不知道對方的功率控制方法；

(5)主用戶發射機TX₁、主用戶接收機RX₁、次用戶發射機TX₂和次用戶接收機RX₂均工作在相同頻段上；

步驟2中所述初始化所述全雙工認知通信系統的系統參數包括初始化所述全雙工認知通信系統中的所有信道增益，次用戶發射機的自干擾消除系數，噪聲功率，發射功率集合，以及接收機的服務質量要求；其中：

主用戶發射機TX₁與主用戶接收機RX₁的信道增益為h₁₁，主用戶發射機TX₁與次用戶接收機RX₂的信道增益為h₁₂、次用戶發射機TX₂與次用戶接收機RX₂的信道增益為h₂₂、次用戶發射機TX₂與主用戶接收機RX₁的信道增益為h₂₁；主用戶發射機TX₁與次用戶發射機TX₂的信道增益為h_ps；

次用戶發射機TX₂的自干擾消除系數χ，χ∈[0，1]；

噪聲功率為P_n；

發射功率共有k檔，發射功率集合為P_T,P_T＝{p₁，p₂，......，p_k}，其中p₁＜p₂＜......＜p_k；

主用戶接收機RX₁滿足服務質量要求的最小信干噪比為τ₁∈[0，1]，次用戶接收機RX₂滿足服務質量要求的最小信干噪比為τ₂∈[0.5，1.5]，且τ₁＜τ₂；

步驟3中所述基于發射機發射的某功率信號計算接收機相應的信干噪比的方法包括：

主用戶接收機RX₁的信干噪比SINR₁為：

次用戶接收機RX₂的信干噪比SINR₂為：

其中，P₁為主用戶發射機TX₁的發射功率，P₂為次用戶發射機TX₂的發射功率；

步驟4中所述構建次用戶發射機TX₂功率控制的馬爾可夫決策模型的方法包括：

(1)初始化主用戶發射機TX₁的發射功率P₁∈P_T，次用戶發射機TX₂的發射功率P₂∈P_T，動作選擇空間A＝P_T；

(2)得到主用戶發射機TX₁的觀測功率信號并通過功率信號抽樣將觀測功率信號離散化，得到系統狀態離散化表示：K表示系統狀態數量；

(3)定義系統獎勵函數，確定次用戶發射機TX₂在執行每個動作a∈A即選取動作集合A中的某個發射功率時得到的獎勵值r，若SINR₁＞τ₁且SINR₂＞τ₂，記錄獎勵值r＝R_c，否則記獎勵值r＝0；

步驟5中所述目標函數定義為：

其中，R_t表示t時刻累積獎勵函數，即要優化的所述目標函數；r_l(s_l，a_l)表示l時刻基于狀態-動作對(s_l，a_l)的獎勵值，s_l表示第l個狀態，a_l表示與s_l對應的動作；λ表示獎勵值衰減因子，取值范圍為(0，1]；

步驟5中所述運用深度強化學習中的DQN算法訓練優化目標函數的方法包括：

步驟5-1，構建兩個結構相同的卷積神經網絡，其中一個記作CNN₁；另一個為目標網絡，記作CNN₂；

步驟5-2，初始化網絡CNN₁的參數θ，目標網絡CNN₂的參數θ^-，數據容器ME的緩存容量N_E以及目標網絡CNN₂更新步數T；

步驟5-3，生成經驗數據e_i＝(s_i，r_i，a_i，s_i+1)并存儲在數據容器ME中；i表示生成經驗數據的時刻；

步驟5-4，當存儲在數據容器ME中的經驗數據超過緩存容量N_E時，隨機抽取B條經驗數據傳到網絡CNN₁中，B＜N_E，通過最小化損失函數進行訓練；

步驟5-5，每經過T步對目標網絡CNN₂進行更新，即令θ^-＝θ；

步驟5-6，判斷訓練迭代次數是否達到最大值，如果是，則訓練結束，得到最優的次用戶發射機TX₂的功率控制策略；否則，返回步驟5-3繼續訓練；

步驟5-4中所述損失函數定義為：

θ：minL(θ)＝E[Q_target(s，a；θ^-)-Q(s，a；θ)] (4)

其中，L(θ)表示損失函數的值，Q_target(s，a；θ^-)表示目標網絡CNN₂的Q值，Q(s，a；θ)表示網絡CNN₁的Q值，E[]表示期望運算。