[發(fā)明專利]多人對(duì)戰(zhàn)游戲的自對(duì)弈模型訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010220850.8
• 申請(qǐng)日: 2020-03-26
• 公開（公告）號(hào): CN111111220A
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 韓國(guó)安;邱福浩;李曉倩;王亮;付強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): A63F13/847
• 分類號(hào): A63F13/847;A63F13/67;A63F13/79
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 李文淵

本申請(qǐng)涉及一種多人對(duì)戰(zhàn)游戲的自對(duì)弈模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。所述方法包括：獲取歷史對(duì)戰(zhàn)視頻數(shù)據(jù)；從歷史對(duì)戰(zhàn)視頻數(shù)據(jù)的對(duì)戰(zhàn)視頻幀中各狀態(tài)特征區(qū)域獲得訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征，并從對(duì)戰(zhàn)視頻幀中各對(duì)戰(zhàn)操作區(qū)域獲得訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征相應(yīng)的操作標(biāo)簽；基于訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征和操作標(biāo)簽進(jìn)行訓(xùn)練，得到對(duì)戰(zhàn)策略模型；通過對(duì)戰(zhàn)策略模型，基于對(duì)戰(zhàn)中的對(duì)戰(zhàn)狀態(tài)特征預(yù)測(cè)操作以進(jìn)行對(duì)戰(zhàn)；獲取對(duì)戰(zhàn)中的對(duì)戰(zhàn)狀態(tài)特征和相應(yīng)預(yù)測(cè)的操作的操作價(jià)值標(biāo)簽；基于對(duì)戰(zhàn)狀態(tài)特征和操作價(jià)值標(biāo)簽訓(xùn)練對(duì)戰(zhàn)操作價(jià)值模型；根據(jù)對(duì)戰(zhàn)策略模型和對(duì)戰(zhàn)操作價(jià)值模型構(gòu)建自對(duì)弈模型并訓(xùn)練。采用本方法能夠提高自對(duì)弈模型的訓(xùn)練效率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及一種多人對(duì)戰(zhàn)游戲的自對(duì)弈模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算機(jī)游戲等人機(jī)交互應(yīng)用，如多人在線戰(zhàn)術(shù)競(jìng)技游戲（Multiplayer Online Battle Arena， MOBA）類游戲成為越來越多人的娛樂方式，用戶玩家可以在計(jì)算機(jī)游戲提供的虛擬場(chǎng)景中，操控虛擬對(duì)象單元進(jìn)行游戲操作。在MOBA類游戲中，用戶玩家一般可分為多個(gè)敵對(duì)陣營(yíng)，通過操控虛擬對(duì)象單元對(duì)抗競(jìng)爭(zhēng)完成游戲目標(biāo)贏得游戲勝利。在玩家對(duì)戰(zhàn)中，對(duì)戰(zhàn)雙方均為用戶玩家，由用戶玩家根據(jù)游戲提供的虛擬場(chǎng)景控制虛擬對(duì)象單元進(jìn)行對(duì)抗，而在人機(jī)對(duì)戰(zhàn)或游戲托管時(shí)，需要由計(jì)算機(jī)，如游戲AI（Artificial Intelligence，人工智能）自動(dòng)控制電腦玩家或?qū)?yīng)托管的虛擬對(duì)象單元進(jìn)行游戲?qū)埂?/p>

目前，MOBA類游戲中虛擬地圖環(huán)境復(fù)雜、虛擬對(duì)象單元豐富、虛擬道具和虛擬操作類型多種多樣，此外對(duì)抗競(jìng)爭(zhēng)中還涉及各式各樣的玩法策略，游戲的復(fù)雜性極大地增加了游戲AI進(jìn)行對(duì)戰(zhàn)探索學(xué)習(xí)的難度，游戲AI探索學(xué)習(xí)的效率較低。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問題，提供一種能夠提高多人對(duì)戰(zhàn)游戲模型訓(xùn)練效率的自對(duì)弈模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)。

一種多人對(duì)戰(zhàn)游戲的自對(duì)弈模型訓(xùn)練方法，所述方法包括：

獲取歷史對(duì)戰(zhàn)視頻數(shù)據(jù)；

從歷史對(duì)戰(zhàn)視頻數(shù)據(jù)的對(duì)戰(zhàn)視頻幀中各狀態(tài)特征區(qū)域獲得訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征，并從對(duì)戰(zhàn)視頻幀中各對(duì)戰(zhàn)操作區(qū)域獲得訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征相應(yīng)的操作標(biāo)簽；

基于訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征和操作標(biāo)簽進(jìn)行訓(xùn)練，得到對(duì)戰(zhàn)策略模型；

通過對(duì)戰(zhàn)策略模型，基于對(duì)戰(zhàn)中的對(duì)戰(zhàn)狀態(tài)特征預(yù)測(cè)操作以進(jìn)行對(duì)戰(zhàn)；

獲取對(duì)戰(zhàn)中的對(duì)戰(zhàn)狀態(tài)特征和相應(yīng)預(yù)測(cè)的操作的操作價(jià)值標(biāo)簽；

基于對(duì)戰(zhàn)狀態(tài)特征和操作價(jià)值標(biāo)簽訓(xùn)練對(duì)戰(zhàn)操作價(jià)值模型；

根據(jù)對(duì)戰(zhàn)策略模型和對(duì)戰(zhàn)操作價(jià)值模型構(gòu)建自對(duì)弈模型并訓(xùn)練。

一種多人對(duì)戰(zhàn)游戲的自對(duì)弈模型訓(xùn)練裝置，所述裝置包括：

歷史對(duì)戰(zhàn)數(shù)據(jù)獲取模塊，用于獲取歷史對(duì)戰(zhàn)視頻數(shù)據(jù)；

訓(xùn)練數(shù)據(jù)獲取模塊，用于從歷史對(duì)戰(zhàn)視頻數(shù)據(jù)的對(duì)戰(zhàn)視頻幀中各狀態(tài)特征區(qū)域獲得訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征，并從對(duì)戰(zhàn)視頻幀中各對(duì)戰(zhàn)操作區(qū)域獲得訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征相應(yīng)的操作標(biāo)簽；

策略模型訓(xùn)練模塊，用于基于訓(xùn)練對(duì)戰(zhàn)狀態(tài)特征和操作標(biāo)簽進(jìn)行訓(xùn)練，得到對(duì)戰(zhàn)策略模型；

策略模型對(duì)戰(zhàn)模塊，用于通過對(duì)戰(zhàn)策略模型，基于對(duì)戰(zhàn)中的對(duì)戰(zhàn)狀態(tài)特征預(yù)測(cè)操作以進(jìn)行對(duì)戰(zhàn)；

價(jià)值模型訓(xùn)練數(shù)據(jù)模塊，用于獲取對(duì)戰(zhàn)中的對(duì)戰(zhàn)狀態(tài)特征和相應(yīng)預(yù)測(cè)的操作的操作價(jià)值標(biāo)簽；

價(jià)值模型訓(xùn)練模塊，用于基于對(duì)戰(zhàn)狀態(tài)特征和操作價(jià)值標(biāo)簽訓(xùn)練對(duì)戰(zhàn)操作價(jià)值模型；

自對(duì)弈模型訓(xùn)練模塊，用于根據(jù)對(duì)戰(zhàn)策略模型和對(duì)戰(zhàn)操作價(jià)值模型構(gòu)建自對(duì)弈模型并訓(xùn)練。