[發明專利]多智能體對抗神經網絡訓練方法及裝置

在審

• 申請號: 202011329509.2
• 申請日: 2020-11-24
• 公開（公告）號: CN112347699A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 白樺;王群勇;孫旭朋
• 申請（專利權）人: 北京圣濤平試驗工程技術研究院有限責任公司
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06F119/02
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 郭亮

本發明提供一種多智能體對抗神經網絡訓練方法及裝置，該方法包括：對影響智能體的RMS指標進行分析，提取影響總體性能的關鍵指標，并確定關鍵指標的取值；采用蒙特卡洛方法，模擬多智能體在關鍵指標情況下的實際狀態；根據實際狀態，對構建的多智能體對抗神經網絡進行訓練。該方法在可靠性、維修性、保障性參數的約束下，在不改變原有的神經網絡結構下，進行神經網絡的參數優化，使其能夠在多智能體出現可靠性問題時，仍能夠達到較為理想的性能。本發明可以提高多智能體對抗神經網絡的健壯性或魯棒性，在面對實際物理世界中代理可能發生的故障和維修等場景，采用本發明進行訓練的神經網絡具有更高的系統性能，降低代理故障對于系統性能的影響。

技術領域

本發明涉及機器學習技術領域，尤其涉及一種多智能體對抗神經網絡訓練方法及裝置。

背景技術

多智能體控制體系增強學習建模時，輸入條件中的智能體數量和性能通常是已知的，以此為約束條件進行網絡參數優化，以得到效能最好的控制模型。智能網絡通過控制信號對多智能體進行控制，使其成為一個整體并且效能最優。

但是，物理世界中的智能體并非理想的智能體，需要進行維修和維護，或者在執行任務時出現故障，不能執行正常的功能，原約束條件已不在成立，由此建立的控制模型并非效能最高的。

發明內容

針對現有技術存在的問題，本發明提供一種多智能體對抗神經網絡訓練方法及裝置。

本發明提供一種多智能體對抗神經網絡訓練方法，包括：對影響智能體的可靠性、維修性和保障性指標進行分析，提取影響總體性能的關鍵指標，并確定關鍵指標的取值；每次訓練時，采用蒙特卡洛方法，模擬多智能體在所述關鍵指標情況下的實際狀態；根據所述實際狀態，對構建的多智能體對抗神經網絡進行訓練。

根據本發明一個的多智能體對抗神經網絡訓練方法，所述根據所述實際狀態，對構建的多智能體對抗神經網絡進行訓練，包括：根據所述實際狀態，確定輸入環境變量，以回報最大化為目標，對構建的多智能體強對抗神經網絡進行訓練。

根據本發明一個的多智能體對抗神經網絡訓練方法，所述多智能體為執行任務的飛機集群，相應地：所述多智能體對抗神經網絡，用于評估所述飛機集群任務成功率；所述關鍵指標，包括：飛機的失效率、戰備完好率和通信中斷率。

根據本發明一個的多智能體對抗神經網絡訓練方法，所述采用蒙特卡洛方法，模擬多智能體在所述關鍵指標情況下的實際狀態，包括：根據飛機總架數和戰備完好率，采用蒙特卡洛方法，確定能出動的飛機架數。

根據本發明一個的多智能體對抗神經網絡訓練方法，所述采用蒙特卡洛方法，模擬多智能體在所述關鍵指標情況下的實際狀態，還包括：根據能出動的飛機架數和飛機失效率，采用蒙特卡洛方法，確定故障飛機，并將故障飛機移除，得到可執行任務的飛機架數。

根據本發明一個的多智能體對抗神經網絡訓練方法，所述采用蒙特卡洛方法，模擬多智能體在所述關鍵指標情況下的實際狀態，還包括：根據可執行任務的飛機架數和通信中斷率，采用蒙特卡洛方法，確定通信異常的飛機。

根據本發明一個的多智能體對抗神經網絡訓練方法，所述根據所述實際狀態，對構建的多智能體對抗神經網絡進行訓練，包括：以可執行任務的飛機和通信正常的飛機，作為輸入環境變量，以任務成功率最高為目標，對構建的多智能體強對抗神經網絡進行訓練。

本發明還提供一種多智能體對抗神經網絡訓練裝置，包括：指標確定模塊，用于對影響智能體的可靠性、維修性和保障性指標進行分析，提取影響總體性能的關鍵指標，并確定關鍵指標的取值；狀態確定模塊，用于每次訓練時，采用蒙特卡洛方法，模擬多智能體在所述關鍵指標情況下的實際狀態；網絡訓練模塊，用于根據所述實際狀態，對構建的多智能體對抗神經網絡進行訓練。