[發(fā)明專利]多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011329509.2
• 申請(qǐng)日: 2020-11-24
• 公開（公告）號(hào): CN112347699A
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計(jì)）人: 白樺;王群勇;孫旭朋
• 申請(qǐng)（專利權(quán)）人: 北京圣濤平試驗(yàn)工程技術(shù)研究院有限責(zé)任公司
• 主分類號(hào): G06F30/27
• 分類號(hào): G06F30/27;G06F119/02
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 郭亮

1.一種多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，包括：

對(duì)影響智能體的可靠性、維修性和保障性指標(biāo)進(jìn)行分析，提取影響總體性能的關(guān)鍵指標(biāo)，并確定關(guān)鍵指標(biāo)的取值；

每次訓(xùn)練時(shí)，采用蒙特卡洛方法，模擬多智能體在所述關(guān)鍵指標(biāo)情況下的實(shí)際狀態(tài)；

根據(jù)所述實(shí)際狀態(tài)，對(duì)構(gòu)建的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述根據(jù)所述實(shí)際狀態(tài)，對(duì)構(gòu)建的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

根據(jù)所述實(shí)際狀態(tài)，確定輸入環(huán)境變量，以回報(bào)最大化為目標(biāo)，對(duì)構(gòu)建的多智能體強(qiáng)對(duì)抗神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

3.根據(jù)權(quán)利要求1所述的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述多智能體為執(zhí)行任務(wù)的飛機(jī)集群，相應(yīng)地：

所述多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)，用于評(píng)估所述飛機(jī)集群任務(wù)成功率；

所述關(guān)鍵指標(biāo)，包括：飛機(jī)的失效率、戰(zhàn)備完好率和通信中斷率。

4.根據(jù)權(quán)利要求3所述的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述采用蒙特卡洛方法，模擬多智能體在所述關(guān)鍵指標(biāo)情況下的實(shí)際狀態(tài)，包括：

根據(jù)飛機(jī)總架數(shù)和戰(zhàn)備完好率，采用蒙特卡洛方法，確定能出動(dòng)的飛機(jī)架數(shù)。

5.根據(jù)權(quán)利要求4所述的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述采用蒙特卡洛方法，模擬多智能體在所述關(guān)鍵指標(biāo)情況下的實(shí)際狀態(tài)，還包括：

根據(jù)能出動(dòng)的飛機(jī)架數(shù)和飛機(jī)失效率，采用蒙特卡洛方法，確定故障飛機(jī)，并將故障飛機(jī)移除，得到可執(zhí)行任務(wù)的飛機(jī)架數(shù)。

6.根據(jù)權(quán)利要求5所述的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述采用蒙特卡洛方法，模擬多智能體在所述關(guān)鍵指標(biāo)情況下的實(shí)際狀態(tài)，還包括：

根據(jù)可執(zhí)行任務(wù)的飛機(jī)架數(shù)和通信中斷率，采用蒙特卡洛方法，確定通信異常的飛機(jī)。

7.根據(jù)權(quán)利要求6所述的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，所述根據(jù)所述實(shí)際狀態(tài)，對(duì)構(gòu)建的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

以可執(zhí)行任務(wù)的飛機(jī)和通信正常的飛機(jī)，作為輸入環(huán)境變量，以任務(wù)成功率最高為目標(biāo)，對(duì)構(gòu)建的多智能體強(qiáng)對(duì)抗神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

8.一種多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練裝置，其特征在于，包括：

指標(biāo)確定模塊，用于對(duì)影響智能體的可靠性、維修性和保障性指標(biāo)進(jìn)行分析，提取影響總體性能的關(guān)鍵指標(biāo)，并確定關(guān)鍵指標(biāo)的取值；

狀態(tài)確定模塊，用于每次訓(xùn)練時(shí)，采用蒙特卡洛方法，模擬多智能體在所述關(guān)鍵指標(biāo)情況下的實(shí)際狀態(tài)；

網(wǎng)絡(luò)訓(xùn)練模塊，用于根據(jù)所述實(shí)際狀態(tài)，對(duì)構(gòu)建的多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的步驟。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述多智能體對(duì)抗神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法的步驟。