[發明專利]一種基于深度強化學習的炮兵連智能作戰演練系統

有效

• 申請號: 202011051742.9
• 申請日: 2020-09-29
• 公開（公告）號: CN112221149B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 況立群;馮利;熊風光;韓燮;李思遠
• 申請（專利權）人: 中北大學
• 主分類號: A63F13/60
• 分類號: A63F13/60;A63F13/822;G06N3/04;G09B9/00
• 代理公司: 太原申立德知識產權代理事務所(特殊普通合伙) 14115
• 代理人: 程園園

本發明屬于計算機仿真領域，具體涉及一種基于深度強化學習的炮兵連智能作戰演練系統。該系統包括包括任務管理模塊、算法決策模塊和可視化演示模塊。針對強化學習、矩陣對策、影響圖對策、遺傳算法和遺傳模糊樹等方法存在的“維度災難”、“人類主觀性影響”、“規則漏洞”等問題，本發明采用深度強化學習算法，通過其與環境的交互對神經網絡進行訓練，避免了人類主觀影響；不需要經典樣本案例；通采用深度神經網絡避免“維度災難”問題。本發明在炮兵連軍事演練中戰術研究、火力打擊、裝備性能評估等領域具備廣泛的應用前景。

技術領域

本發明屬于計算機仿真領域，具體涉及一種基于深度強化學習的炮兵連智能作戰演練系統。

背景技術

炮兵是陸軍的重要組成部分，遂行地面火力突擊任務的兵種，是陸軍火力突擊的中堅力量。因其具備火力強大、射程較遠以及精確打擊目標等特點，可在戰場中支援、掩護步兵、裝甲兵等兵種的作戰行動，因此炮兵的火力行為對戰場態勢具有重要影響。著眼于炮兵訓練需求，伴隨著演習的仿真程度越高，投入的成本和精力也就隨之增加，這種情況將會不可避免地消耗我軍大量的人力物力及財力，甚至可能對我軍戰斗人員造成傷亡。所以，將計算機仿真技術作為技術手段，構建一套炮兵仿真訓練系統，借助計算機進行仿真訓練成為當前炮兵火力打擊領域的迫切需求。

炮兵連智能作戰演練系統自主決策主要是通過數學優化、人工智能等方法構建由作戰態勢到行為指令的映射。當前求解映射的主要方式有強化學習、矩陣對策、影響圖對策、遺傳算法和遺傳模糊樹等方法。強化學習中的經典算法Q-learning是一種離線策略的學習算法，根據策略所選取的動作與當前環境相互交互，產生相應的獎勵值以及下一步的狀態來不斷地更新Q表，得到更優的Q函數，從而探索出更優的應對戰場新態勢的作戰方案。但是隨著從空間和時間上作戰任務趨于多樣化，加之炮兵戰場地形復雜情況，戰場態勢情況已經龐大到無法通過Q表進行存儲，所以這仍然面臨著“維度災難”問題。除此之外，這些方法還將受“人類主觀性影響”、“規則漏洞”等問題的困擾。所以，當仿真系統戰場中出現難以預知的復雜狀況時，決策的不確定性也隨之提升。

發明內容

針對強化學習、矩陣對策、影響圖對策、遺傳算法和遺傳模糊樹等方法存在的“維度災難”、“人類主觀性影響”、“規則漏洞”等問題，本發明采用深度強化學習算法，通過其與環境的交互對神經網絡進行訓練，避免了人類主觀影響；不需要經典樣本案例；通采用深度神經網絡避免“維度災難”問題，所以深度強化學習在炮兵連智能作戰演練系統的研究中有著較好的應用前景。

本發明中根據地圖數據、環境數據以及雙方的兵力布置等數據信息，結合雙深度Q網絡(Double Deep Q Network，DDQN)深度強化學習算法，驅使炮兵智能體與作戰環境相互交互，不斷地試錯學習，最終在戰術行動上實現與外軍炮兵的感知、火力、協同等行為相一致，實時地、動態地反映出演習雙方的各項數據。

為了達到上述目的，本發明采用了下列技術方案：

一種基于深度強化學習的炮兵連智能作戰演練系統，包括任務管理模塊、算法決策模塊和可視化演示模塊；

所述任務管理模塊采用客戶/服務器模式的網絡架構，用于作戰任務的新建、作戰任務的查詢、作戰任務的控制；所述作戰任務的新建為任務管理模塊提供表單填寫頁面并呈現給用戶，以供用戶錄入對應的作戰任務數據，錄入過程進行合法性檢測，檢測完畢后任務管理模塊會對錄入的作戰任務數據進行序列化，之后將序列化后的數據儲存在自動生成的文件目錄，供算法決策模塊和可視化演示模塊調用；所述作戰任務的查詢分為任務列表的查詢和單個任務詳細信息的查詢，單個任務詳細信息的查詢由任務管理模塊向算法決策模塊的輸出反饋單元發送查詢請求，算法決策模塊的輸出反饋單元查詢任務對應的數據并返回給任務管理模塊；所述作戰任務的控制每隔三秒刷新一次當前任務的狀態，用于作戰任務的修改、作戰任務的撤銷、停止DDQN深度強化學習算法的推演和開啟作戰任務的動畫演示；