[發明專利]一種基于深度強化學習的無人機意圖航跡預測方法

有效

• 申請號: 202110054435.4
• 申請日: 2021-01-15
• 公開（公告）號: CN112947541B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 王玉惠;陳天培;吳慶憲;周澤宇;張逸航;劉昊天
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G05D1/10
• 分類號: G05D1/10
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于深度強化學習的無人機意圖航跡預測方法，首先，建立意圖航跡預測獎勵函數模型，其中包含機動動作模型和地形模型；接著，建立深度強化學習網絡模型，對網絡中參數迭代計算的過程進行分析；然后，對動作價值函數的近似過程進行分析，為之后的策略選擇做準備；最后，建立策略模型，通過該模型對動作價值函數進行選取，從而選擇出最佳的飛行動作，并通過航跡的形式顯示結果。本發明不僅能完整的顯示無人機的意圖航跡，還可以得知無人機在飛行過程中做了何種機動動作。

技術領域

本發明屬于無人機領域，具體涉及一種基于深度強化學習的無人機意圖航跡預測方法。

背景技術

意圖預測是將各種傳感器得到的信息進行綜合分析、處理后，得到敵方下一階段的企圖和打算。由于空戰過程和無人機的機動動作有著連續性，因此，敵方無人機的作戰意圖航跡可通過已獲得的空戰信息在經過合理推斷后得知。充分掌握敵方招式，相當于贏得了一半的對抗。意圖預測有多種詳細的表述方式，對敵方的作戰意圖進行判斷、分析敵軍作戰意圖和計劃、推斷出敵方的行為模式和作戰意圖和確定敵方的意圖特征等。它主要用來解決以下問題，敵方會采取何種行動、敵方為什么會采取該種行動、敵方采取該種行動的目的是什么和敵方采取該種行動的可能性有多大。按不同的作戰場景來劃分，可以將意圖預測分為海戰場意圖預測、陸戰場意圖預測和空戰場意圖預測。按戰爭影響的層次，意圖預測可以分為目標戰略意圖預測、目標戰役意圖預測、目標戰術意圖預測。總而言之意圖預測是將各種傳感器得到的信息進行綜合分析、處理后，得到敵方下一階段的企圖和打算。

在現代空戰中，戰爭局勢迅速變化，若能提前預測出敵方無人機的意圖航跡，我方就有充足的時間做出最佳的對抗決策，從而起到先敵制勝的效果，使我方在空戰對抗中取得優勢。因此，對敵方意圖航跡進行提前預測具有十分重要的意義。

發明內容

發明目的：本發明提供一種基于深度強化學習的無人機意圖航跡預測方法，以克服傳統預測方法在求解意圖航跡預測問題時存在的缺陷。

技術方案：本發明所述的一種基于深度強化學習的無人機意圖航跡預測方法，包括以下步驟：

(1)構建意圖航跡預測獎勵函數模型；所述意圖航跡預測獎勵函數模型包含機動動作模型和地形模型；

(2)根據獎勵函數模型建立深度強化學習網絡模型，利用該網絡模型進行意圖動作的預測，并對深度強化學習網絡參數的訓練過程進行分析；

(3)對由深度強化學習網絡參數得到動作價值函數的過程進行分析，為之后的策略選擇做準備；

(4)建立策略模型，對動作價值函數進行選取，從而選擇出最佳的飛行動作，并實時生成航跡。

進一步地，所述步驟(1)包括以下步驟：

(11)建立兩個獎勵函數：地形的獎勵函數和飛行機動動作的獎勵函數，總的獎勵函數為兩個獎勵函數的加權和：

r_t＝λ_dr_d+λ_mr_m

其中，r_d為地形的獎勵函數，r_m為飛行機動動作的獎勵函數，λ_d、λ_m為相應的權重系數；當獎勵值為正時，表示建議當前時刻對該動作的選擇；當獎勵值為負時，表示不建議當前時刻對該動作的選擇；

(12)構建地形環境模型，對適合和不適合無人機作戰的區域進行劃分：按照實際地形環境將規劃空間劃分為正方形網格，每個網格的初始高度定義為0米，把兩個地形環境劃分為300*300個獨立的網格單元；按照實際地形的等高線，為每個不同的網格單元賦上高度值；進行仿真，生成對應的數字地圖；

意圖航跡預測的地形威脅獎勵函數r₁可表示為：