[發明專利]訓練智能體的方法和裝置

有效

• 申請號: 202010077714.8
• 申請日: 2020-01-31
• 公開（公告）號: CN113206786B
• 公開（公告）日: 2022-12-27
• 發明（設計）人: 毛航宇;劉武龍;郝建業
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L45/243
• 分類號: H04L45/243;H04L45/00;G06N3/00;G06N3/08
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 時林;王君

1.一種訓練智能體的方法，其特征在于，包括：

獲取第一智能體的環境信息和第二智能體的環境信息；

根據所述第一智能體的環境信息和所述第二智能體的環境信息生成第一信息；

利用所述第一信息訓練所述第一智能體，使得所述第一智能體輸出個體認知信息和鄰域認知信息，其中，所述第一智能體的鄰域認知信息與所述第二智能體的鄰域認知信息具有一致性；

獲取所述第二智能體的鄰域認知信息

根據所述第二智能體的鄰域認知信息訓練生成所述第一智能體的鄰域認知信息的神經網絡，以使與具有一致性。

2.根據權利要求1所述的方法，其特征在于，所述根據所述第一智能體的環境信息和所述第二智能體的環境信息生成第一信息，包括：

根據所述第一智能體的環境信息生成所述第一智能體的第二信息h_i；

根據所述第二智能體的環境信息生成所述第二智能體的第二信息h_j；

根據h_i和h_j生成所述第一信息。

3.根據權利要求2所述的方法，其特征在于，所述根據h_i和h_j生成所述第一信息，包括：

根據h_i和第一矩陣的乘積確定第一結果；

根據h_j和第二矩陣的乘積確定第二結果；

根據所述第一結果和所述第二結果生成所述第一信息。

4.根據權利要求1至3任一項所述的方法，其特征在于，所述根據所述第二智能體的鄰域認知信息訓練生成所述第一智能體的鄰域認知信息的神經網絡，包括：

根據包含和的損失函數訓練生成的神經網絡。

5.根據權利要求4所述的方法，其特征在于，所述包含和的損失函數為其中，KL表示KL散度，q表示概率分布，o_i表示所述第一智能體的環境信息，w_i表示基于o_i生成的神經網絡的權重，o_j表示所述第二智能體的環境信息，w_j表示基于o_j生成的神經網絡的權重。

6.根據權利要求1至3中任一項所述的方法，其特征在于，所述利用所述第一信息訓練所述第一智能體，使得所述第一智能體輸出個體認知信息和鄰域認知信息，包括：

根據所述第一信息和變分自編碼器確定所述第一智能體的鄰域認知信息

7.根據權利要求6所述的方法，其特征在于，所述根據所述第一信息和變分自編碼器確定所述第一智能體的鄰域認知信息包括：

根據所述第一信息確定所述第一智能體的鄰域認知信息的分布均值和分布方差

從一個單位高斯分布中采樣得到一個隨機值ε；

根據和ε確定其中，

8.根據權利要求1至3中任一項所述的方法，其特征在于，所述方法還包括：

根據所述第一智能體的鄰域認知信息確定所述第一智能體的環境信息的估計值

根據包含o_i和的損失函數訓練生成的神經網絡。

9.根據權利要求8所述的方法，其特征在于，所述包含o_i和的損失函數為其中，L2表示L2正則化，w_i表示基于o_i生成的神經網絡的權重。

10.根據權利要求1至3中任一項所述的方法，其特征在于，所述方法還包括：

根據所述第一智能體的個體認知信息和鄰域認知信息確定所述第一智能體的Q值；

根據所述第一智能體的Q值訓練所述第一智能體。