[發(fā)明專利]游戲中人工智能模型的訓(xùn)練方法、裝置、系統(tǒng)及服務(wù)器

有效

• 申請?zhí)枺?/td>: 202010126381.3
• 申請日: 2020-02-27
• 公開（公告）號: CN111249738B
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計(jì)）人: 葉振斌;呂唐杰;范長杰;胡志鵬
• 申請（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類號: A63F13/67
• 分類號: A63F13/67
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 彭星

1.一種游戲中人工智能模型的訓(xùn)練方法，其特征在于，應(yīng)用于服務(wù)器，所述服務(wù)器預(yù)先配置有用于訓(xùn)練所述人工智能模型的至少一個自身訓(xùn)練任務(wù)和至少一個代理訓(xùn)練任務(wù)；所述服務(wù)器用于執(zhí)行所述至少一個自身訓(xùn)練任務(wù)，生成第一結(jié)果數(shù)據(jù)；所述至少一個代理訓(xùn)練任務(wù)中的每個對應(yīng)有代理服務(wù)器，所述代理服務(wù)器用于執(zhí)行該代理服務(wù)器對應(yīng)的所述代理訓(xùn)練任務(wù)，生成第二結(jié)果數(shù)據(jù)；所述方法包括：周期性獲取所述代理服務(wù)器的當(dāng)前第二結(jié)果數(shù)據(jù)，并更新歷史第二結(jié)果數(shù)據(jù)；

重復(fù)執(zhí)行如下步驟，直至所述人工智能模型符合預(yù)期：

基于歷史第二結(jié)果數(shù)據(jù)，執(zhí)行所述至少一個自身訓(xùn)練任務(wù)，得到當(dāng)前第一結(jié)果數(shù)據(jù)；

將所述當(dāng)前第一結(jié)果數(shù)據(jù)周期性的與至少一個所述代理服務(wù)器同步，以及判斷所述人工智能模型是否符合預(yù)期。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述至少一個代理訓(xùn)練任務(wù)包括運(yùn)行游戲?qū)嵗龅诙Y(jié)果數(shù)據(jù)包括游戲數(shù)據(jù)；

所述至少一個自身訓(xùn)練任務(wù)包括將所述游戲數(shù)據(jù)作為訓(xùn)練樣本訓(xùn)練所述人工智能模型，所述第一結(jié)果數(shù)據(jù)包括訓(xùn)練后的人工智能模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述至少一個自身訓(xùn)練任務(wù)還包括接收并統(tǒng)計(jì)所述游戲數(shù)據(jù)；

所述至少一個代理訓(xùn)練任務(wù)還包括將所述游戲數(shù)據(jù)同步至所述服務(wù)器。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述至少一個代理訓(xùn)練任務(wù)包括將游戲數(shù)據(jù)作為訓(xùn)練樣本訓(xùn)練所述人工智能模型，所述第二結(jié)果數(shù)據(jù)包括訓(xùn)練后的人工智能模型；

所述至少一個自身訓(xùn)練任務(wù)包括運(yùn)行至少一個游戲?qū)嵗龅谝唤Y(jié)果數(shù)據(jù)包括所述游戲數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，更新歷史第二結(jié)果數(shù)據(jù)的步驟，包括：

如果所述服務(wù)器中的歷史第二結(jié)果數(shù)據(jù)與所述當(dāng)前第二結(jié)果數(shù)據(jù)不同，則將所述服務(wù)器中歷史第二結(jié)果數(shù)據(jù)的內(nèi)容更改為所述當(dāng)前第二結(jié)果數(shù)據(jù)；

其中，所述歷史第二結(jié)果數(shù)據(jù)是所述服務(wù)器在獲取到所述當(dāng)前第二結(jié)果數(shù)據(jù)之前，從所述代理服務(wù)器處獲取到的第二結(jié)果數(shù)據(jù)。

6.根據(jù)權(quán)利要求2所述的方法，其特征在于，將所述當(dāng)前第一結(jié)果數(shù)據(jù)周期性的與至少一個所述代理服務(wù)器同步的步驟，包括：

應(yīng)用發(fā)布訂閱模式，通過廣播的方式周期性的將所述訓(xùn)練后的人工智能模型分發(fā)到至少一個所述代理服務(wù)器。

7.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述當(dāng)前第一結(jié)果數(shù)據(jù)周期性的與至少一個所述代理服務(wù)器同步的步驟，包括：

應(yīng)用數(shù)據(jù)緩存方式，向緩存庫中存放所述游戲數(shù)據(jù)，以使所述代理服務(wù)器從所述緩存庫中獲取所述游戲數(shù)據(jù)。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述當(dāng)前第一結(jié)果數(shù)據(jù)周期性的與至少一個所述代理服務(wù)器同步的步驟，包括：

周期性的向線程隊(duì)列的末尾插入所述當(dāng)前第一結(jié)果數(shù)據(jù)，以使所述代理服務(wù)器從所述線程隊(duì)列中獲取所述當(dāng)前第一結(jié)果數(shù)據(jù)；

確定所述線程隊(duì)列中所有數(shù)據(jù)占用的內(nèi)存空間；

在所述線程隊(duì)列的長度超過預(yù)設(shè)長度，或所述內(nèi)存空間超過預(yù)設(shè)空間時，丟棄所述線程隊(duì)列中的部分?jǐn)?shù)據(jù)。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，判斷所述人工智能模型是否符合預(yù)期的步驟，包括：

如果訓(xùn)練后的所述人工智能模型的實(shí)際收斂值符合預(yù)期收斂值，則確定所述人工智能模型符合預(yù)期；或者，

如果利用訓(xùn)練后的所述人工智能模型生成的實(shí)際游戲數(shù)據(jù)符合預(yù)期游戲數(shù)據(jù)，則確定所述人工智能模型符合預(yù)期。