[發明專利]智能體模型的訓練方法、裝置、電子設備和存儲介質

在審

• 申請號: 202211549460.0
• 申請日: 2022-12-05
• 公開（公告）號: CN116186531A
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 張記袁;曾增烽;鄭濱雄;王凡
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F18/22;G06N3/0464;G06N3/0455;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 石茵汀

1.一種智能體模型的訓練方法，包括：

獲取候選歷史樣本，其中，所述候選歷史樣本包括第一智能體、第二智能體的歷史數據，所述第二智能體為所述第一智能體的敵方；

將所述候選歷史樣本添加到經驗池；

基于當前樣本，從所述經驗池中篩選出目標歷史樣本，其中，所述當前樣本包括所述第一智能體、所述第二智能體的當前數據；

基于所述當前樣本和所述目標歷史樣本，得到所述第一智能體對應的智能體模型的第一訓練樣本集；

基于所述第一訓練樣本集，對所述智能體模型進行訓練。

2.根據權利要求1所述的方法，其中，所述基于當前樣本，從所述經驗池中篩選出目標歷史樣本，包括：

獲取所述當前樣本和所述候選歷史樣本之間的第一相似度；

基于所述第一相似度，從所述經驗池中篩選出所述目標歷史樣本。

3.根據權利要求2所述的方法，其中，所述基于所述第一相似度，從所述經驗池中篩選出所述目標歷史樣本，包括：

將多個所述候選歷史樣本按照所述第一相似度從大到小進行排序；

將排序前N個的候選歷史樣本確定為所述目標歷史樣本，其中，N為正整數。

4.根據權利要求1所述的方法，其中，所述智能體模型包括編碼器和解碼器；

其中，所述編碼器用于對所述第一智能體的狀態數據、所述第二智能體的狀態數據分別進行編碼，得到編碼數據；

所述解碼器用于對所述編碼數據進行解碼，得到所述第一智能體的目標動作。

5.根據權利要求4所述的方法，其中，所述編碼器包括融合層和編碼層；

其中，所述第一智能體的狀態數據、所述第二智能體中的任一種智能體的狀態數據進行編碼的過程如下：

所述融合層用于對所述任一種智能體的當前狀態數據和歷史狀態數據進行融合，得到融合狀態數據；

所述編碼層用于對所述融合狀態數據進行編碼，得到所述編碼數據。

6.根據權利要求1所述的方法，其中，所述智能體模型的模型參數包括多個所述第二智能體對應的獎勵參數；

其中，所述基于所述第一訓練樣本集，對所述智能體模型進行訓練，包括：

識別所述第一訓練樣本集中的第一訓練樣本對應的第二智能體；

將所述第一訓練樣本劃分到所述第二智能體對應的第二訓練樣本集；

基于所述第二智能體對應的第二訓練樣本集，對所述第二智能體對應的獎勵參數進行更新。

7.根據權利要求1所述的方法，其中，還包括：

將所述智能體模型添加到對手池；

從所述對手池中篩選出目標對手模型，并獲取所述目標對手模型和所述智能體模型之間的對戰數據；

基于所述對戰數據，生成所述智能體模型的第三訓練樣本集；

基于所述第三訓練樣本集，對所述智能體模型進行訓練。

8.根據權利要求7所述的方法，其中，所述從所述對手池中篩選出目標對手模型，包括：

獲取所述智能體模型在訓練過程中使用的歷史對手模型；

獲取所述歷史對手模型與所述對手池中的候選對手模型之間的第二相似度；

基于所述第二相似度，從所述對手池中篩選出所述目標對手模型。

9.根據權利要求8所述的方法，其中，所述基于所述第二相似度，從所述對手池中篩選出所述目標對手模型，包括：

將多個所述候選對手模型按照所述第二相似度從小到大進行排序；

將排序前M個的候選對手模型確定為所述目標對手模型，其中，M為正整數。