[發明專利]面向多智能體同步博弈的建模方法及動作預測系統

有效

• 申請號: 201810586046.4
• 申請日: 2018-06-08
• 公開（公告）號: CN108764453B
• 公開（公告）日: 2021-10-01
• 發明（設計）人: 王子磊;陳鵬;李厚強
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06N3/00
• 分類號: G06N3/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種面向多智能體同步博弈的建模方法，其特征在于，所述建模方法包括：

獲取同步博弈問題的狀態集與動作集；所述狀態集包括空間分布相關狀態與空間分布不相關狀態；其中，所述空間分布相關狀態為，與策略決策相關的智能體局部特性；所述空間分布不相關狀態為，與策略決策相關的智能體全局特性；

根據所述同步博弈問題的特性，設計博弈特征與特征編碼方法；所述根據所述同步博弈問題的特性，設計博弈特征與特征編碼方法，包括：將所述空間分布相關狀態劃分為攻擊特性、防御特性、生命特性、機動特性與類型特性；將所述空間分布不相關狀態劃分為資源特征、科技特性與智能體共用特性；設計連續值特征編碼與離散值特征編碼，其中，所述連續值特征編碼用于將連續值歸一化，所述離散值特征編碼用于將離散值進行one-hot編碼；

根據所述博弈特征與特征編碼方法，對所述狀態集與動作集進行數據預處理，得到基礎特征圖與動作決策圖；所述根據所述博弈特征與特征編碼方法，對所述狀態集與動作集進行數據預處理，得到基礎特征圖與動作決策圖包括：根據多智能體交戰區域尺寸，選取基礎特征圖尺寸與動作決策圖尺寸，建立多智能體實際位置與像素位置的一一映射關系；根據所述博弈特征與特征編碼方法，對所述狀態集進行特征提取與特征編碼，生成基礎特征圖與動作決策圖；針對生成的基礎特征圖與動作決策圖，進行數據增強處理與隨機打亂處理，得到處理后的基礎特征圖與動作決策圖；

基于深度神經網絡建立多尺度特征融合的同步博弈策略模型；

根據所述基礎特征圖與動作決策圖，對所述同步博弈策略模型進行逐層訓練，得到訓練好的同步博弈策略模型。

2.如權利要求1所述的方法，其特征在于，所述基于深度神經網絡建立多尺度特征融合的同步博弈策略模型包括：

建立特征細化模塊與多尺度特征融合預測模塊；

所述特征細化模塊，用于利用多層卷積層對基礎特征圖進行特征細化；

所述多尺度特征融合預測模塊，用于利用連接層與卷積層融合所述特征細化模塊中五種尺度的特征圖。

3.如權利要求2所述的方法，其特征在于，所述多層卷積層包括：十層標準卷積層、三層空洞卷積層與三層池化層；其中，所述空洞卷積層為，在標準卷積層的卷積核中注入空洞后得到的卷積層。

4.如權利要求2所述的方法，其特征在于，在所述五種尺度中的各尺度內，利用深度神經網絡中的帶孔空間金字塔池化模塊，融合不同感受野的特征。

5.如權利要求1所述的方法，其特征在于，所述根據所述基礎特征圖與動作決策圖，對所述同步博弈策略模型進行逐層訓練，得到訓練好的同步博弈策略模型包括：

將所述同步博弈策略模型的訓練過程分為六個階段；

其中，所述六個階段中第一階段至第五階段分別用于訓練五種尺度的同步博弈策略模型；第六階段用于對整個同步博弈策略模型進行微調；第二階段至第六階段中任一階段的訓練均是基于前一階段的訓練結果來進行的。

6.如權利要求5所述的方法，其特征在于，所述根據所述基礎特征圖與動作決策圖，對所述同步博弈策略模型進行逐層訓練，得到訓練好的同步博弈策略模型還包括：

根據預測動作決策圖與真實動作決策圖之間的交叉熵，確定所述同步博弈策略模型的損失函數。

7.一種面向多智能體同步博弈的動作預測系統，其特征在于，所述動作預測系統包括：

狀態信息采集單元，用于采集多智能體交戰區域的狀態信息；

狀態信息處理單元，用于對所述多智能體交戰區域的狀態信息進行數據預處理，得到基礎特征圖；

博弈策略處理單元，用于利用同步博弈策略模型，預測與所述基礎特征圖相匹配的動作決策圖；

博弈動作確定單元，用于根據所述動作決策圖，以及各個智能體對應的像素值，確定預測動作；

其中，所述同步博弈策略模型為，利用如權利要求1～6中任一項所述的面向多智能體同步博弈的建模方法，得到的同步博弈策略模型。