[發(fā)明專利]多人對(duì)戰(zhàn)游戲的自對(duì)弈模型訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010220850.8
• 申請(qǐng)日: 2020-03-26
• 公開（公告）號(hào): CN111111220A
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 韓國(guó)安;邱福浩;李曉倩;王亮;付強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): A63F13/847
• 分類號(hào): A63F13/847;A63F13/67;A63F13/79
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 李文淵

1.一種多人對(duì)戰(zhàn)游戲的自對(duì)弈模型訓(xùn)練方法，其特征在于，所述方法包括：

獲取歷史對(duì)戰(zhàn)視頻數(shù)據(jù)；

從所述歷史對(duì)戰(zhàn)視頻數(shù)據(jù)的對(duì)戰(zhàn)視頻幀中各狀態(tài)特征區(qū)域獲得訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征，并從所述對(duì)戰(zhàn)視頻幀中各對(duì)戰(zhàn)操作區(qū)域獲得所述訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征相應(yīng)的操作標(biāo)簽；

基于所述訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征和所述操作標(biāo)簽進(jìn)行訓(xùn)練，得到對(duì)戰(zhàn)策略模型；

通過所述對(duì)戰(zhàn)策略模型，基于對(duì)戰(zhàn)中的對(duì)戰(zhàn)狀態(tài)特征預(yù)測(cè)操作以進(jìn)行對(duì)戰(zhàn)；

獲取對(duì)戰(zhàn)中的所述對(duì)戰(zhàn)狀態(tài)特征和相應(yīng)預(yù)測(cè)的操作的操作價(jià)值標(biāo)簽；

基于所述對(duì)戰(zhàn)狀態(tài)特征和所述操作價(jià)值標(biāo)簽訓(xùn)練對(duì)戰(zhàn)操作價(jià)值模型；

根據(jù)所述對(duì)戰(zhàn)策略模型和所述對(duì)戰(zhàn)操作價(jià)值模型構(gòu)建自對(duì)弈模型并訓(xùn)練。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述歷史對(duì)戰(zhàn)視頻數(shù)據(jù)的對(duì)戰(zhàn)視頻幀中各狀態(tài)特征區(qū)域獲得訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征，并從所述對(duì)戰(zhàn)視頻幀中各對(duì)戰(zhàn)操作區(qū)域獲得所述訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征相應(yīng)的操作標(biāo)簽包括：

從所述歷史對(duì)戰(zhàn)視頻數(shù)據(jù)的對(duì)戰(zhàn)視頻幀中各狀態(tài)特征區(qū)域提取歷史對(duì)戰(zhàn)狀態(tài)特征；

從所述對(duì)戰(zhàn)視頻幀的各對(duì)戰(zhàn)操作區(qū)域中提取所述歷史對(duì)戰(zhàn)狀態(tài)特征對(duì)應(yīng)的歷史操作標(biāo)簽；

根據(jù)所述歷史對(duì)戰(zhàn)狀態(tài)特征和所述歷史操作標(biāo)簽得到訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征和相應(yīng)的操作標(biāo)簽。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述從所述歷史對(duì)戰(zhàn)視頻數(shù)據(jù)的對(duì)戰(zhàn)視頻幀中各狀態(tài)特征區(qū)域提取歷史對(duì)戰(zhàn)狀態(tài)特征包括：

從所述歷史對(duì)戰(zhàn)視頻數(shù)據(jù)中抽取對(duì)戰(zhàn)視頻幀；

確定所述對(duì)戰(zhàn)視頻幀中的各狀態(tài)特征區(qū)域；

對(duì)各所述狀態(tài)特征區(qū)域進(jìn)行狀態(tài)特征提取，獲得歷史對(duì)戰(zhàn)狀態(tài)特征。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)各所述狀態(tài)特征區(qū)域進(jìn)行狀態(tài)特征提取，獲得歷史對(duì)戰(zhàn)狀態(tài)特征包括：

對(duì)各所述狀態(tài)特征區(qū)域中的地圖狀態(tài)區(qū)域和對(duì)戰(zhàn)狀態(tài)區(qū)域進(jìn)行特征提取，得到對(duì)戰(zhàn)狀態(tài)圖像特征；

對(duì)各所述狀態(tài)特征區(qū)域中的對(duì)戰(zhàn)全局屬性區(qū)域進(jìn)行特征提取，得到對(duì)戰(zhàn)全局屬性特征；

對(duì)各所述狀態(tài)特征區(qū)域中的對(duì)戰(zhàn)單元屬性區(qū)域進(jìn)行特征提取，得到對(duì)戰(zhàn)單元狀態(tài)特征；所述歷史對(duì)戰(zhàn)狀態(tài)特征包括所述對(duì)戰(zhàn)狀態(tài)圖像特征、所述對(duì)戰(zhàn)全局屬性特征和所述對(duì)戰(zhàn)單元狀態(tài)特征。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述從所述對(duì)戰(zhàn)視頻幀的各對(duì)戰(zhàn)操作區(qū)域中提取所述歷史對(duì)戰(zhàn)狀態(tài)特征對(duì)應(yīng)的歷史操作標(biāo)簽包括：

確定所述對(duì)戰(zhàn)視頻幀中的各對(duì)戰(zhàn)操作區(qū)域；

從各所述對(duì)戰(zhàn)操作區(qū)域中確定操作類型；

確定所述操作類型對(duì)應(yīng)的操作參數(shù)；所述歷史操作標(biāo)簽包括所述操作類型和相應(yīng)的操作參數(shù)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取對(duì)戰(zhàn)中的所述對(duì)戰(zhàn)狀態(tài)特征和相應(yīng)預(yù)測(cè)的操作的操作價(jià)值標(biāo)簽包括：

獲取對(duì)戰(zhàn)中的所述對(duì)戰(zhàn)狀態(tài)特征；

獲取所述對(duì)戰(zhàn)策略模型針對(duì)所述對(duì)戰(zhàn)狀態(tài)特征所相應(yīng)預(yù)測(cè)的操作；

確定預(yù)測(cè)的所述操作的操作價(jià)值標(biāo)簽。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述確定預(yù)測(cè)的所述操作的操作價(jià)值標(biāo)簽包括：

從所述對(duì)戰(zhàn)狀態(tài)特征中確定所述操作對(duì)應(yīng)的前一對(duì)戰(zhàn)狀態(tài)特征；

從所述對(duì)戰(zhàn)狀態(tài)特征中確定所述操作對(duì)應(yīng)的后一對(duì)戰(zhàn)狀態(tài)特征；

根據(jù)所述前一對(duì)戰(zhàn)狀態(tài)特征和所述后一對(duì)戰(zhàn)狀態(tài)特征，確定所述操作的操作價(jià)值標(biāo)簽。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述對(duì)戰(zhàn)策略模型和所述對(duì)戰(zhàn)操作價(jià)值模型構(gòu)建自對(duì)弈模型并訓(xùn)練包括：

根據(jù)所述對(duì)戰(zhàn)策略模型和所述對(duì)戰(zhàn)操作價(jià)值模型構(gòu)建自對(duì)弈模型；

通過所述自對(duì)弈模型，基于對(duì)戰(zhàn)中的自對(duì)弈對(duì)戰(zhàn)狀態(tài)特征預(yù)測(cè)操作以進(jìn)行對(duì)戰(zhàn)；

獲取對(duì)戰(zhàn)中的對(duì)戰(zhàn)數(shù)據(jù)，并基于所述對(duì)戰(zhàn)數(shù)據(jù)訓(xùn)練所述自對(duì)弈模型。