[發明專利]一種用于模型推演到智能推演的轉化方法

有效

• 申請號: 202110656539.2
• 申請日: 2021-06-11
• 公開（公告）號: CN113283111B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 曾向榮;鐘志偉;劉衍;張政
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06N5/04;G06N3/08;G06N3/04
• 代理公司: 長沙大珂知識產權代理事務所(普通合伙) 43236
• 代理人: 伍志祥

本發明公開了一種用于模型推演到智能推演的轉化方法，將模型推演中對抗單元的模型數字化輸入、規則行為的數字化輸入和對抗單元行為決策數字化輸出轉化為智能推演中圖像模型的輸入和輸出；將虛擬環境推演中對抗單元的移動過程、編組分隊過程在智能推演中進行離散化采樣，轉化為圖模型的序列圖像；將虛擬環境推演的損傷評估轉化為智能推演中圖像模型的各個單元的損傷和整體的損傷評估；將智能推演中圖像模型的輸入作為深度強化學習的訓練測試模型的輸入，深度強化學習的訓練測試模型輸出動作、策略值向量。本發明將單元行為決策輸出轉化為可用于深度強化學習的輸出，以適應深度強化學習的需求，為智能化推演提供依據。

技術領域

本發明屬于對抗推演技術領域，尤其涉及一種用于模型推演到智能推演的轉化方法。

背景技術

智能對抗是指在信息對抗的基礎上運用智能武器和手段實現以高效指揮化、打擊精確化、操作自動化、行為智能化為主旨的高技術對抗形式。從本質上講，智能對抗是人的智能向信息對抗場地和對抗裝備的輻射和延伸。從對抗程序和手段看，智能對抗包括智能化的指揮控制和智能化裝備的攻防對抗。智能對抗的主要標志是智能化對抗裝備群及智能化對抗手段的出現。

對抗推演由最初的采用單元縮小的模型推演到以計算機為主體的模型數字化虛擬環境推演到智能化推演，智能化推演是在虛擬環境推演的基礎上增加智能化部分。針對智能化對抗在虛擬訓練推演的研究中，國內常常采用的是模塊化設計、功能齊全，然后沒有詳細的介紹深度學習在智能化推演中的使用。專利號：201811075660.0提出了一種面向多領域可擴展兵棋推演平臺，該平臺為提高通用性和擴展性，引入兵棋二次開發的設計。專利號：201811313124.X 提出了一種基于深度強化學習的無監督智能對抗推演系統，該方法沒有詳細的介紹深度強化學習如何在對抗推演系統中使用。

強化學習是人工智能機器學習領域里的一個分支，用于控制一只能夠在某個環境下自主行動的智能體，通過和環境之間的互動，包括感知與得到獎勵，而不斷改進它的行為，而強化學習的目的，就是選擇一系列行動來最大化未來的獎勵。深度強化學習把神經網絡提取復雜高維數據特征的能力融入強化學習，將數據轉化到低維特征，便于強化學習處理。眾所周知，對抗決策是對抗領域中最復雜、最具挑戰的活動，并由此促進了對抗輔助決策支持技術的產生和發展。可以預見，深度強化學習技術的不斷進步必將對對抗智能輔助決策領域產生深刻而重大的影響。

發明內容

有鑒于此，本發明的目的是通過把對抗雙方的裝備單元模型數據、單元行為模型數據輸入建模轉化為可用于深度強化學習的圖像模型，單元行為決策輸出轉化為可用于深度強化學習的輸出，對虛擬環境推演進行圖像模型轉化，以適應深度強化學習的需求，為智能化對抗單元推演提供依據。

本發明提供一種用于模型推演到智能推演的轉化方法，該方法是把模型推演的過程首先轉化虛擬環境推演的過程，然后轉化為智能推演的過程。虛擬環境推演中的對抗單元的模型數字化輸入、規則行為的數字化輸入和對抗單元行為決策數字化輸出轉化為智能推演中圖像模型的輸入和輸出，虛擬環境推演中的對抗單元移動過程、編組分隊過程在智能推演中對其進行離散化采樣轉化為圖模型的序列圖像，虛擬環境推演的損傷評估轉化為圖像模型中的各個單元的損傷和整體的損傷評估。

本發明公開的一種用于模型推演到智能推演的轉化方法，該方法包括以下步驟：

將模型推演中對抗單元的模型數字化輸入、規則行為的數字化輸入和對抗單元行為決策數字化輸出轉化為智能推演中圖像模型的輸入和輸出；

將虛擬環境推演中對抗單元的移動過程、編組分隊過程在智能推演中進行離散化采樣，轉化為圖模型的序列圖像；

將虛擬環境推演的損傷評估轉化為智能推演中圖像模型的對抗單元的損傷和整體的損傷評估；

將所述智能推演中圖像模型的輸入作為深度強化學習的訓練測試模型的輸入，深度強化學習的訓練測試模型輸出動作、策略值向量。