[發明專利]一種針對復雜條件下多智能體的訓練方法及系統

有效

• 申請號: 202011024781.X
• 申請日: 2020-09-25
• 公開（公告）號: CN112488320B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 史殿習;張耀文;張擁軍;武云龍;秦偉;徐天齊;王功舉
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院;天津（濱海）人工智能軍民融合創新中心
• 主分類號: G06N20/00
• 分類號: G06N20/00;H04K3/00
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種針對復雜條件下多智能體的訓練方法，其特征在于，包括：

基于訓練目標，構建訓練場景和智能體模型；

將所述訓練場景按照場景復雜程度，由簡單到復雜依次分解為多個課程任務；

利用所述智能體模型，按場景復雜程度，依次選擇課程任務進行訓練得到各智能體的策略；

其中在訓練過程中將前一課程任務的訓練結果作為下一課程任務的初始條件；

所述智能體模型的構建包括：

基于不同的任務和回報方式分別構建多個合作智能體、多個目標智能體和多個干擾智能體；

其中，所述合作智能體的任務為避開障礙物，并對處于自身感知半徑內的目標智能體進行巡邏，同時與通信范圍內的合作智能體共享感知視野，產生協同行動、救援行動和巡邏行動；所述干擾智能體的任務為發出阻塞信號破壞合作智能體之間的聯通；

所述目標智能體的任務為在避免被合作智能體圍捕到前提下進入目標區域；

所述訓練場景的構建包括：

基于訓練目標對智能體的狀態空間、動作空間加以約束，設置場景環境；

在至少一個干擾智能體的信號干擾下，多個合作智能體利用各自通信功能連接通信范圍內的合作智能體，構建合作智能體組，且隸屬于所述合作智能體組內的各合作智能體共享感知視野；

所述合作智能體組利用共享感知視野對目標智能體進行巡邏；

所述將所述訓練場景按照場景復雜程度，由簡單到復雜依次分解為多個課程任務，包括：

基于具有全局的感知范圍和通信范圍的多個合作智能體以及多個目標智能體構建第一課程任務；

在所述第一課程任務的基礎上對每個合作智能體的感知范圍和通信范圍進行約束構建第二課程任務；

在所述第二課程任務的基礎上加入多個干擾智能體構建通信阻塞課程任務；

在所述通信阻塞課程任務的基礎上引入隨機出現的障礙物構建通信-地理干擾課程任務。

2.如權利要求1所述的方法，其特征在于，所述第一課程任務的具體構建包括：

構建具有全局感知范圍和通信范圍的多個合作智能體和多個目標智能體；

基于巡邏獎勵值構建所述合作智能體的獎勵值；

基于遠離合作智能體獎勵值構建所述目標智能體的獎勵值。

3.如權利要求2所述的方法，其特征在于，所述第二課程任務的基體構建包括：

在第一課程任務的基礎上添加具有局部通信能力和部分感知能力的多個合作智能體；

基于在所述合作智能體的感知半徑內觀察到的目標智能體的情況構建所述合作智能體的感知向量；

基于在所述合作智能體的通信半徑內與其他合作智能體的聯通情況構建所述合作智能體的通信向量；同時多個合作智能體利用各自通信功能連接通信范圍內的合作智能體，構建合作智能體組，且隸屬于所述合作智能體組內的各合作智能體共享感知視野；

在所述第一課程任務中所述合作智能體獎勵值的基礎上增加聯通性保持獎勵值；

其中，所述通信半徑感知半徑。

4.如權利要求3所述的方法，其特征在于，所述通信阻塞課程任務的具體構建包括：

在第二課程任務的基礎上添加多個干擾智能體；

基于在合作智能體的感知半徑內觀察到的目標智能體和干擾智能體的情況構建所述合作智能體的感知向量；

基于在所述合作智能體的通信半徑內與其他合作智能體的聯通情況構建所述合作智能體的通信向量；其中所述通信半徑取決于各合作智能體之間的通信模式，當合作智能體處于干擾智能體的干擾范圍內且合作智能體間的距離大于與干擾智能體之間的距離時，則各合作智能體之間選擇第一聯通模式，否則為第二聯通模式，第一聯通模式下的通信半徑大于第二聯通模式下的通信半徑；

為所述干擾智能體構建干擾獎勵值；

其中，所述通信半徑感知半徑。

5.如權利要求4所述的方法，其特征在于，所述通信-地理干擾課程任務的具體構建包括：

在通信阻塞課程任務的場景中隨機添加障礙物訓練合作智能體的避障能力；

為所述合作智能體的獎勵值增加避障獎勵值。

6.一種針對復雜條件下多智能體的訓練系統，用于實現如權利要求1所述的一種針對復雜條件下多智能體的訓練方法，其特征在于，包括：

構建模塊，用于基于目標場景，構建訓練場景和智能體模型；

分解模塊，用于將所述訓練場景按照場景復雜程度，由簡單到復雜依次分解為多個課程任務；

訓練模塊，用于利用所述智能體模型，按場景復雜程度，依次選擇課程任務進行訓練得到各智能體的策略；

其中在訓練過程中將前一課程任務的訓練結果作為下一課程任務的初始條件；

所述分解模塊具體用于：

基于具有全局的感知范圍和通信范圍的多個合作智能體以及多個目標智能體構建第一課程任務；

在所述第一課程任務的基礎上對每個合作智能體的感知范圍和通信范圍進行約束構建第二課程任務；

在所述第二課程任務的基礎上加入多個干擾智能體構建通信阻塞課程任務；

在所述通信阻塞課程任務的基礎上引入隨機出現的障礙物構建通信-地理干擾課程任務。