[發明專利]一種基于深度強化學習的炮兵連智能作戰演練系統

有效

• 申請號: 202011051742.9
• 申請日: 2020-09-29
• 公開（公告）號: CN112221149B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 況立群;馮利;熊風光;韓燮;李思遠
• 申請（專利權）人: 中北大學
• 主分類號: A63F13/60
• 分類號: A63F13/60;A63F13/822;G06N3/04;G09B9/00
• 代理公司: 太原申立德知識產權代理事務所(特殊普通合伙) 14115
• 代理人: 程園園

1.一種基于深度強化學習的炮兵連智能作戰演練系統，其特征在于，包括任務管理模塊、算法決策模塊和可視化演示模塊；

所述任務管理模塊采用客戶/服務器模式的網絡架構，用于作戰任務的新建、作戰任務的查詢、作戰任務的控制；所述作戰任務的新建為任務管理模塊提供表單填寫頁面并呈現給用戶，以供用戶錄入對應的作戰任務數據，錄入過程進行合法性檢測，檢測完畢后任務管理模塊會對錄入的作戰任務數據進行序列化，之后將序列化后的數據儲存在自動生成的文件目錄，供算法決策模塊和可視化演示模塊調用；所述作戰任務的查詢分為任務列表的查詢和單個任務詳細信息的查詢，單個任務詳細信息的查詢由任務管理模塊向算法決策模塊的輸出反饋單元發送查詢請求，算法決策模塊的輸出反饋單元查詢任務對應的數據并返回給任務管理模塊；所述作戰任務的控制每隔三秒刷新一次當前任務的狀態，用于作戰任務的修改、作戰任務的撤銷、停止DDQN深度強化學習算法的推演和開啟作戰任務的動畫演示；

所述算法決策模塊用于訓練神經網絡，包括工作臺創建單元、計算分析單元和輸出反饋單元；所述工作臺創建單元調用序列化后的數據并將其進行反序列化，并創建以對應ID命名的文件夾，并持久化各類作戰任務信息文件；所述計算分析單元讀取作戰任務信息文件，采用DDQN深度強化學習算法對其進行訓練，得到一個具備高智能行為的炮兵智能體模型，并且輸出一個當前最優的炮兵智能體行為決策序列；所述輸出反饋單元將當前最優的炮兵智能體行為決策序列持久化儲存供可視化演示模塊使用，所述輸出反饋單元將DDQN深度強化學習算法當前迭代輪數以及每輪迭代所走步數數據持久化存儲供任務管理模塊使用；

所述可視化演示模塊基于Unity3D游戲引擎，根據炮兵智能體行為決策序列對炮兵智能體模型進行行為演示，包括動畫預處理單元、邏輯控制單元和粒子特效單元；所述動畫預處理單元調用序列化后的數據初始化各個對象的屬性，完成各個對象的復制與實例化、動畫位置的刷新；所述邏輯控制單元根據當前最優的炮兵智能體行為決策序列對各個對象實體的邏輯控制，將所述炮兵智能體模型的動作分為移動動作和攻擊動作；所述粒子特效單元利用火焰與煙霧特效給予用戶更好的視覺效果，所述各個對象為防御工事、己方作戰單位、敵方作戰單位、敵方基地。

2.根據權利要求1所述的一種基于深度強化學習的炮兵連智能作戰演練系統，其特征在于，所述合法性檢測主要檢查用戶填寫表單內容是否正確、邏輯是否合法，以防止用戶鍵入非法的作戰任務內容。

3.根據權利要求1所述的一種基于深度強化學習的炮兵連智能作戰演練系統，其特征在于，所述當前最優的炮兵智能體行為決策序列是DDQN深度強化學習算法歷代迭代中所走步數最少的迭代所對應的行為數據文件。

4.根據權利要求1所述的一種基于深度強化學習的炮兵連智能作戰演練系統，其特征在于，所述輸出反饋單元將DDQN深度強化學習算法當前迭代輪數以及每輪迭代所走步數數據持久化儲存供任務管理模塊使用，具體為：任務管理模塊每隔三秒向算法決策模塊的輸出反饋單元發送請求獲取對應作戰任務的DDQN深度強化學習算法當前迭代輪數以及每輪迭代所走步數，以刷新DDQN深度強化學習算法演算過程的折線圖。

5.根據權利要求1所述的一種基于深度強化學習的炮兵連智能作戰演練系統，其特征在于，所述計算分析單元開啟對單個炮兵智能體模型特訓功能，確保每一個炮兵智能體模型都可獲得正向的獎勵。

6.根據權利要求1所述的一種基于深度強化學習的炮兵連智能作戰演練系統，其特征在于，所述計算分析單元每隔一定輪數以較高的隨機值訓練炮兵智能體，迭代出更優的解法。

7.根據權利要求1所述的一種基于深度強化學習的炮兵連智能作戰演練系統，其特征在于，所述復制與實例化調用Unity的Instantiate方法完成；所述動畫位置的刷新采用Unity腳本中的FixedUpdate()方法。