[發(fā)明專利]多智能體協(xié)作系統(tǒng)及其智能體、智能體間的通信方法

有效

• 申請?zhí)枺?/td>: 201811536781.0
• 申請日: 2018-12-14
• 公開（公告）號: CN109617968B
• 公開（公告）日: 2019-10-29
• 發(fā)明（設(shè)計(jì)）人: 彭鵬
• 申請（專利權(quán)）人: 啟元世界（北京）信息技術(shù)服務(wù)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L5/00;G06N5/04
• 代理公司: 北京五洲洋和知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11387
• 代理人: 劉春成

1.一種多智能體協(xié)作系統(tǒng)中智能體間的通信方法，其特征在于，所述通信方法包括：

第一智能體通過經(jīng)強(qiáng)化學(xué)習(xí)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)對接收的第二協(xié)作消息和從環(huán)境中獲取的狀態(tài)進(jìn)行處理，得到所述第一智能體執(zhí)行的動作和通信對象，所述第二協(xié)作消息由至少一個(gè)第二智能體發(fā)送；

根據(jù)所述第二協(xié)作消息和所述狀態(tài)得到第一協(xié)作消息；

向所述通信對象發(fā)送所述第一協(xié)作消息；

其中，所述通信對象包括至少一個(gè)所述第二智能體；

所述第一協(xié)作消息和所述第二協(xié)作消息均是為達(dá)到所述多智能體協(xié)作系統(tǒng)目標(biāo)的協(xié)作消息；

在所述第一智能體通過經(jīng)強(qiáng)化學(xué)習(xí)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)對接收的第二協(xié)作消息和從環(huán)境中獲取的狀態(tài)進(jìn)行處理之前，所述通信方法還包括：

根據(jù)所述第二智能體與所述第一智能體的相關(guān)關(guān)系，得到第一預(yù)通信對象；

在所述第一智能體通過經(jīng)強(qiáng)化學(xué)習(xí)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)對接收的第二協(xié)作消息和從環(huán)境中獲取的狀態(tài)進(jìn)行處理之后，得到所述第一智能體執(zhí)行的通信對象之前，所述通信方法還包括：

得到所述第一智能體的第二預(yù)通信對象；

根據(jù)所述第一預(yù)通信對象和所述第二預(yù)通信對象的共有通信對象，得到所述第一智能體的通信對象；

其中，所述第一預(yù)通信對象和所述第二預(yù)通信對象均至少包括一個(gè)所述第二智能體。

2.根據(jù)權(quán)利要求1所述的通信方法，其特征在于，所述根據(jù)第二協(xié)作消息和所述狀態(tài)得到第一協(xié)作消息，具體包括：

通過所述深度神經(jīng)網(wǎng)絡(luò)對所述狀態(tài)和第二協(xié)作消息進(jìn)行處理，得到所述第一協(xié)作消息。

3.根據(jù)權(quán)利要求1所述的通信方法，其特征在于，

當(dāng)所述相關(guān)關(guān)系為相對距離時(shí)，所述根據(jù)所述第二智能體與所述第一智能體的相關(guān)關(guān)系，得到第一預(yù)通信對象，具體包括：

判斷各個(gè)所述第二智能體與所述第一智能體之間的距離，若判斷所述距離在預(yù)設(shè)距離閾值內(nèi)，則與該距離對應(yīng)的所述第二智能體屬于所述第一預(yù)通信對象。

4.根據(jù)權(quán)利要求1所述的通信方法，其特征在于，

當(dāng)所述相關(guān)關(guān)系為相對方向角度時(shí)，所述根據(jù)所述第二智能體與所述第一智能體的相關(guān)關(guān)系，得到第一預(yù)通信對象，具體包括：

判斷各個(gè)所述第二智能體相對于所述第一智能體的方向角度，若判斷所述方向角度在預(yù)設(shè)角度閾值內(nèi)，則與該方向角度對應(yīng)的所述第二智能體屬于所述第一預(yù)通信對象。

5.一種智能體，其特征在于，所述智能體包括：

第一得到模塊，用于通過經(jīng)強(qiáng)化學(xué)習(xí)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)對接收的第二協(xié)作消息和從環(huán)境中獲取的狀態(tài)進(jìn)行處理，得到第一智能體執(zhí)行的動作和通信對象，所述第二協(xié)作消息由至少一個(gè)第二智能體發(fā)送；

第二得到模塊，用于根據(jù)所述第二協(xié)作消息和所述狀態(tài)得到第一協(xié)作消息；

發(fā)送模塊，用于向所述通信對象發(fā)送所述第一協(xié)作消息，其中，所述通信對象包括至少一個(gè)所述第二智能體；

其中，所述第一協(xié)作消息和所述第二協(xié)作消息均是為達(dá)到多智能體協(xié)作系統(tǒng)目標(biāo)的協(xié)作消息；

所述智能體還包括：

第三得到模塊，用于根據(jù)所述第二智能體與所述第一智能體的相關(guān)關(guān)系，得到第一預(yù)通信對象；

對應(yīng)地，所述第一得到模塊，用于通過經(jīng)強(qiáng)化學(xué)習(xí)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)對接收的第二協(xié)作消息和從環(huán)境中獲取的狀態(tài)進(jìn)行處理，得到所述第一智能體執(zhí)行的動作和第二預(yù)通信對象；

所述智能體還包括：

第四得到模塊，用于根據(jù)所述第一預(yù)通信對象和所述第二預(yù)通信對象的共有通信對象，得到所述第一智能體的通信對象；

其中，所述第一預(yù)通信對象和所述第二預(yù)通信對象均至少包括一個(gè)所述第二智能體。

6.根據(jù)權(quán)利要求5所述的智能體，其特征在于，所述第二得到模塊具體用于：

通過所述深度神經(jīng)網(wǎng)絡(luò)對所述狀態(tài)和第二協(xié)作消息進(jìn)行處理，得到所述第一協(xié)作消息。

7.根據(jù)權(quán)利要求5所述的智能體，其特征在于，當(dāng)所述相關(guān)關(guān)系為相對距離時(shí)，所述第三得到模塊具體用于：

判斷各個(gè)所述第二智能體與所述第一智能體之間的距離，若判斷所述距離在預(yù)設(shè)距離閾值內(nèi)，則與該距離對應(yīng)的所述第二智能體屬于所述第一預(yù)通信對象。

8.一種多智能體協(xié)作系統(tǒng)，其特征在于，所述多智能體協(xié)作系統(tǒng)包括：多個(gè)智能體，所述智能體為權(quán)利要求5～7中任一項(xiàng)所述的智能體。