[發明專利]一種基于深度強化學習的波形自適應遴選方法

在審

• 申請號: 202211277900.1
• 申請日: 2022-10-19
• 公開（公告）號: CN115561723A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 張向榮;阮恒宇;朱進;陶海紅;郭晶晶;張天揚;張超;曹雁軍;韓麗
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G01S7/40
• 分類號: G01S7/40;G06F30/20;G06N3/04;G06N3/08
• 代理公司: 成都九鼎天元知識產權代理有限公司 51214
• 代理人: 張洋

本發明公開了一種基于深度強化學習的波形自適應遴選方法，包括：首先通過構建離散系統狀態空間模型，對仿真場景進行建模；再通過最小化目標參數估計的克拉美羅下界構建目標熵狀態，通過前后時刻的真實熵狀態構建波形參數選擇動作的真實熵獎勵；再利用容積卡爾曼濾波器對當前時刻不同波形參數選擇動作的下一時刻目標狀態進行預測；再根據預測的熵狀態構建預測熵獎勵組成前饋循環通路；最后針對多節點場景設計下動作獎勵函數，利用DQN網絡對不同狀態下不同動作的獎勵期望進行價值逼近，得到最終的波形參數選擇動作；本發明能夠在動態環境中快速的適應環境學習動作選擇策略，根據環境的反饋快速自適應的選擇發射波形參數動作，魯棒性強。

技術領域

本發明屬于雷達波形遴選技術領域，涉及一種雷達波形自適應選擇方法，更進一步涉及一種基于深度強化學習的波形自適應遴選方法。

背景技術

本節中的陳述僅提供與本公開相關的背景信息，并且可能不構成現有技術。

雷達發射波形參數自適應選擇是雷達波形遴選領域重要的研究內容之一，廣泛應用于軍事偵察等領域；雷達波形參數自適應遴選的目的在于使雷達能夠在復雜、競爭、動態的雷達環境中執行典型的雷達任務，滿足現代雷達高精度檢測、跟蹤和監視的實際應用需求，使得雷達具有自適應的能力。

認知雷達系統是一個由認知控制器、認知感知器和環境組成的閉環回路；其中，認知感知器將接收到的環境信息反饋給認知控制器，認知控制器根據反饋信息對傳輸的波形參數進行遴選，從而不斷提高系統的估計和檢測性能；因此，波形遴選是認知雷達系統中最主要的問題。

傳統的雷達波形遴選方法有基于預先設定應用場景構建少量波形庫固定雷達發射波形參數的方法，基于遺傳算法、神經網絡等學習雷達發射波形參數與跟蹤定位精度之間的關系；然而，固定雷達發射波形參數的方法雖然針對應用場景給定了少量波形庫，但是在復雜干擾條件下雷達面臨應用受限的問題，而對于一個未知的雷達任務來說，基于準則函數的波形參數捷變算法需要在波形庫中進行搜索，計算復雜度比較大；基于神經網絡進行波形選擇的方法，需要獲取足夠的有效訓練樣本，對于未知的雷達任務也是比較困難的；基于遺傳算法、神經網絡算法獲取一組面臨新的應用場景存在著適應性差，計算復雜度大，處理耗時長等問題；因此近年來，雷達波形遴選嘗試采用基于強化學習的方法；強化學習可以在動態復雜的環境中，通過與環境交互，利用環境的反饋信息，逐漸的適應環境，在進行波形選擇時，可以根據將環境的反饋信息作為強化學習的輸入，并對反饋做出決策，選擇相應的發射波形參數。

深度強化學習對雷達波形選擇問題上，通過對雷達仿真環境的建模，自適應的對雷達波形庫中波形的選擇，性能表現超過傳統算法；其中DQN(Deep Q-learning Network)作為一種深度強化學習網絡的代表通過對動作選擇與系統在該動作前后狀態及動作對應的獎勵進行學習，期望擬合一種在當前狀態下動作與獎勵的對應關系；但是雷達定位跟蹤場景因為雷達觀測的馬爾可夫性，干擾噪聲等問題，導致直接使用DQN的方法存在離散空間的價值網絡波動大，狀態估計不穩定的問題。

發明內容

本發明的目的在于：針對上述問題，提供了一種基于深度強化學習的波形自適應遴選方法，使得雷達系統具備環境感知能力，能夠自適應、動態的穩定的調整雷達波形，實現資源合理分配，從而解決了上述問題。

本發明的技術方案如下：

一種基于深度強化學習的波形自適應遴選方法，包括：

步驟S1：通過構建離散系統狀態空間模型，對仿真場景進行建模，基于該仿真場景，初始化離散系統狀態空間模型，并對DQN網絡的權重進行隨機初始化；

步驟S2：通過最小化目標參數估計的克拉美羅下界構建目標熵狀態，通過前后時刻的真實熵狀態構建波形參數選擇動作的真實熵獎勵；

步驟S3：利用容積卡爾曼濾波器對當前時刻不同波形參數選擇動作的下一時刻目標狀態進行預測；