[發(fā)明專利]訓(xùn)練智能體的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010077714.8
• 申請(qǐng)日: 2020-01-31
• 公開（公告）號(hào): CN113206786B
• 公開（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 毛航宇;劉武龍;郝建業(yè)
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): H04L45/243
• 分類號(hào): H04L45/243;H04L45/00;G06N3/00;G06N3/08
• 代理公司: 北京龍雙利達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11329
• 代理人: 時(shí)林;王君

1.一種訓(xùn)練智能體的方法，其特征在于，包括：

獲取第一智能體的環(huán)境信息和第二智能體的環(huán)境信息；

根據(jù)所述第一智能體的環(huán)境信息和所述第二智能體的環(huán)境信息生成第一信息；

利用所述第一信息訓(xùn)練所述第一智能體，使得所述第一智能體輸出個(gè)體認(rèn)知信息和鄰域認(rèn)知信息，其中，所述第一智能體的鄰域認(rèn)知信息與所述第二智能體的鄰域認(rèn)知信息具有一致性；

獲取所述第二智能體的鄰域認(rèn)知信息

根據(jù)所述第二智能體的鄰域認(rèn)知信息訓(xùn)練生成所述第一智能體的鄰域認(rèn)知信息的神經(jīng)網(wǎng)絡(luò)，以使與具有一致性。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述第一智能體的環(huán)境信息和所述第二智能體的環(huán)境信息生成第一信息，包括：

根據(jù)所述第一智能體的環(huán)境信息生成所述第一智能體的第二信息h_i；

根據(jù)所述第二智能體的環(huán)境信息生成所述第二智能體的第二信息h_j；

根據(jù)h_i和h_j生成所述第一信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)h_i和h_j生成所述第一信息，包括：

根據(jù)h_i和第一矩陣的乘積確定第一結(jié)果；

根據(jù)h_j和第二矩陣的乘積確定第二結(jié)果；

根據(jù)所述第一結(jié)果和所述第二結(jié)果生成所述第一信息。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述第二智能體的鄰域認(rèn)知信息訓(xùn)練生成所述第一智能體的鄰域認(rèn)知信息的神經(jīng)網(wǎng)絡(luò)，包括：

根據(jù)包含和的損失函數(shù)訓(xùn)練生成的神經(jīng)網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述包含和的損失函數(shù)為其中，KL表示KL散度，q表示概率分布，o_i表示所述第一智能體的環(huán)境信息，w_i表示基于o_i生成的神經(jīng)網(wǎng)絡(luò)的權(quán)重，o_j表示所述第二智能體的環(huán)境信息，w_j表示基于o_j生成的神經(jīng)網(wǎng)絡(luò)的權(quán)重。

6.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述利用所述第一信息訓(xùn)練所述第一智能體，使得所述第一智能體輸出個(gè)體認(rèn)知信息和鄰域認(rèn)知信息，包括：

根據(jù)所述第一信息和變分自編碼器確定所述第一智能體的鄰域認(rèn)知信息

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述根據(jù)所述第一信息和變分自編碼器確定所述第一智能體的鄰域認(rèn)知信息包括：

根據(jù)所述第一信息確定所述第一智能體的鄰域認(rèn)知信息的分布均值和分布方差

從一個(gè)單位高斯分布中采樣得到一個(gè)隨機(jī)值ε；

根據(jù)和ε確定其中，

8.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

根據(jù)所述第一智能體的鄰域認(rèn)知信息確定所述第一智能體的環(huán)境信息的估計(jì)值

根據(jù)包含o_i和的損失函數(shù)訓(xùn)練生成的神經(jīng)網(wǎng)絡(luò)。

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述包含o_i和的損失函數(shù)為其中，L2表示L2正則化，w_i表示基于o_i生成的神經(jīng)網(wǎng)絡(luò)的權(quán)重。

10.根據(jù)權(quán)利要求1至3中任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

根據(jù)所述第一智能體的個(gè)體認(rèn)知信息和鄰域認(rèn)知信息確定所述第一智能體的Q值；

根據(jù)所述第一智能體的Q值訓(xùn)練所述第一智能體。