[發明專利]基于深度強化學習的寬帶抗干擾系統及抗干擾方法

有效

• 申請號: 202010621567.6
• 申請日: 2020-07-01
• 公開（公告）號: CN111970072B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 徐煜華;李洋洋;徐以濤;劉鑫;汪西明;李文
• 申請（專利權）人: 中國人民解放軍陸軍工程大學
• 主分類號: H04B17/345
• 分類號: H04B17/345;H04B17/336;H04B17/327;H04B17/391
• 代理公司: 北京力量專利代理事務所(特殊普通合伙) 11504
• 代理人: 徐穎超

1.一種基于深度強化學習的寬帶抗干擾系統，其特征在于，包括寬帶抗干擾模型，

所述寬帶抗干擾模型包括作為發射端的一發射機和與之通信的作為接收端的一接收機構成的一組發射端和接收端對，該組發射端和接收端對為一個用戶，當用戶的發射端和接收端進行寬帶通信時，多個干擾機對用戶進行惡意干擾，在用戶側使用分層深度強化學習的人工神經網絡，其中網絡設計為，卷積層，全連接層，池化層的人工神經網絡結構設計，并可細分為頻段選擇網絡和頻點選擇網絡通過分析頻譜感知信息，分別選擇可用頻段和可用頻點的方式，在寬頻段中決策選擇可用通信頻率；

所述用戶的接收機的信干噪比SINR表示為如公式(1)所示的β(f_t)：

公式(1)中，f_t表示用戶所選的通信頻率，t表示當前時刻；p_u表示用戶的發射機的發射功率，g_u表示用戶的發射機到用戶的接收機的功率信道增益，b_u表示用戶的發射機通信帶寬，n(f)表示噪聲的功率譜密度函數，J表示進行干擾的干擾機的數量，表示第i個干擾機在當前時刻到用戶的接收機的功率信道增益，J_i表示第i個干擾機的功率譜密度函數，f_tⁱ表示第i個干擾機在當前時刻選擇的信道，i為正整數。

2.根據權利要求1所述的基于深度強化學習的寬帶抗干擾系統，其特征在于，所述決策建模為一個馬爾可夫決策過程，以此優化用戶頻率來決策出最大化的用戶寬帶通信的吞吐量。

3.根據權利要求1所述的基于深度強化學習的寬帶抗干擾系統，其特征在于，用β_th表示用戶的接收機成功接收所需要的信干噪比門限，定義歸一化門限μ(f_t)如公式(2)所示：

用戶的接收機處的功率譜密度函數S_t(f)如公式(3)所示：

其中U(f)表示用戶的發射機的功率譜密度；

所述寬帶抗干擾模型中的離散頻譜采樣值s_i,t定義為如公式(4)所示：

其中，Δf表示頻譜分辨率；i為正整數且表示采樣數，S(f+f_L)為公式(3)所述功率譜密度函數、f表示采樣頻率、f_L為所選頻率的下界；用戶的發射機側的智能體感知當前時刻的頻譜向量s_t＝{s_1,t,s_2,t,...,s_N,t}并選擇下一時刻的通信頻率f_t，其中F表示用戶可選頻段范圍。

4.根據權利要求2所述的基于深度強化學習的寬帶抗干擾系統，其特征在于，所述建模為一個馬爾可夫決策過程的環境狀態S_t定義為S_t＝{s_t,s_t-1,...,s_t-T+1}，其中，T表示回溯的歷史狀態數目，S_t表示一個T×N的二維矩陣，由矩陣S_t構建出時刻t的頻譜瀑布圖；狀態轉移概率P表示為P:(S,f)→S′，其中S′表示在狀態S下選擇頻率f后的下一狀態；用戶的回報值函數F定義為用戶決策的目標為最大化長期累積回報值，該最大化長期累積回報值表示為如公式(5)所示：