[發(fā)明專利]虛擬對(duì)象的動(dòng)作確定模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011217465.4
• 申請(qǐng)日: 2020-11-04
• 公開（公告）號(hào): CN112221140A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 杜雪瑩;石貝;練振杰;高一鳴;陳光偉;王亮;付強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): A63F13/55
• 分類號(hào): A63F13/55
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 徐立

本申請(qǐng)?zhí)峁┝艘环N虛擬對(duì)象的動(dòng)作確定模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)，屬于人工智能技術(shù)領(lǐng)域。方法包括：基于虛擬場(chǎng)景的第一環(huán)境狀態(tài)，確定虛擬場(chǎng)景在目標(biāo)時(shí)長(zhǎng)后的計(jì)算環(huán)境狀態(tài)；根據(jù)計(jì)算環(huán)境狀態(tài)和第一環(huán)境狀態(tài)在下一時(shí)刻的實(shí)際環(huán)境狀態(tài)，確定內(nèi)在獎(jiǎng)勵(lì)信息；根據(jù)內(nèi)在獎(jiǎng)勵(lì)信息，調(diào)整當(dāng)前動(dòng)作確定模型的參數(shù)；響應(yīng)于當(dāng)前動(dòng)作確定模型符合第一目標(biāo)條件，將當(dāng)前動(dòng)作確定模型確定為訓(xùn)練完畢的動(dòng)作確定模型。上述方案，使得該動(dòng)作確定模型輸出的動(dòng)作，能夠?qū)?yīng)不同的游戲策略，提高了虛擬對(duì)象在游戲策略上的對(duì)抗能力和魯棒性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，特別涉及一種虛擬對(duì)象的動(dòng)作確定模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

隨著人工智能(Artificial Intelligence,AI)技術(shù)的發(fā)展，AI已經(jīng)在多種領(lǐng)域向頂尖人類發(fā)出了挑戰(zhàn)，且已經(jīng)接近人類頂尖競(jìng)技水平。例如，在圍棋領(lǐng)域，Alpha Go戰(zhàn)勝圍棋世界冠軍，在游戲領(lǐng)域，Alpha Star戰(zhàn)勝星級(jí)爭(zhēng)霸II(一種即時(shí)戰(zhàn)略游戲)職業(yè)選手等。當(dāng)前，對(duì)游戲AI問題的研究，已成為探索真實(shí)世界的通用人工智能的試驗(yàn)場(chǎng)。

目前，對(duì)于多人在線戰(zhàn)術(shù)競(jìng)技游戲(Multiplayer Online Battle Arena,MOBA)，由于MOBA游戲受到陣容組合、戰(zhàn)略目標(biāo)以及戰(zhàn)術(shù)執(zhí)行等多種復(fù)雜內(nèi)容的影響，通常是采用采用強(qiáng)化學(xué)習(xí)(Reinforcement Learning，RL)的方法來訓(xùn)練AI，RL中通過獎(jiǎng)勵(lì)信號(hào)(Reward)來引導(dǎo)AI的學(xué)習(xí)。

上述技術(shù)方案存在的技術(shù)問題是，由于上述RL中AI的獎(jiǎng)勵(lì)信號(hào)是技術(shù)人員定義的稠密的獎(jiǎng)勵(lì)信號(hào)，導(dǎo)致訓(xùn)練得到的AI僅能執(zhí)行單一的游戲策略，導(dǎo)致該AI在游戲策略上的對(duì)抗能力較弱，缺少魯棒性。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種虛擬對(duì)象的動(dòng)作確定模型訓(xùn)練方法、裝置、設(shè)備及介質(zhì)，使得該動(dòng)作確定模型輸出的動(dòng)作，能夠?qū)?yīng)不同的游戲策略，提高了虛擬對(duì)象在游戲策略上的對(duì)抗能力和魯棒性。所述技術(shù)方案如下：

一方面，提供了一種虛擬對(duì)象的動(dòng)作確定模型訓(xùn)練方法，所述方法包括：

基于虛擬場(chǎng)景的第一環(huán)境狀態(tài)，確定所述虛擬場(chǎng)景在目標(biāo)時(shí)長(zhǎng)后的計(jì)算環(huán)境狀態(tài)，所述第一環(huán)境狀態(tài)和所述計(jì)算環(huán)境狀態(tài)分別表示虛擬場(chǎng)景的環(huán)境；

根據(jù)所述計(jì)算環(huán)境狀態(tài)和所述第一環(huán)境狀態(tài)在下一時(shí)刻的實(shí)際環(huán)境狀態(tài)，確定內(nèi)在獎(jiǎng)勵(lì)信息，所述內(nèi)在獎(jiǎng)勵(lì)信息用于指示執(zhí)行目標(biāo)動(dòng)作是否對(duì)虛擬對(duì)象有益，所述實(shí)際環(huán)境狀態(tài)用于指示所述虛擬場(chǎng)景處于所述第一環(huán)境狀態(tài)下所述虛擬對(duì)象執(zhí)行所述目標(biāo)動(dòng)作后的環(huán)境狀態(tài)；

根據(jù)所述內(nèi)在獎(jiǎng)勵(lì)信息，調(diào)整當(dāng)前動(dòng)作確定模型的參數(shù)；

響應(yīng)于所述當(dāng)前動(dòng)作確定模型符合第一目標(biāo)條件，將所述當(dāng)前動(dòng)作確定模型確定為訓(xùn)練完畢的動(dòng)作確定模型，所述動(dòng)作確定模型用于根據(jù)輸入的環(huán)境狀態(tài)輸出動(dòng)作。

另一方面，提供了一種虛擬對(duì)象的動(dòng)作確定模型訓(xùn)練裝置，所述裝置包括：

狀態(tài)確定模塊，用于基于虛擬場(chǎng)景的第一環(huán)境狀態(tài)，確定所述虛擬場(chǎng)景在目標(biāo)時(shí)長(zhǎng)后的計(jì)算環(huán)境狀態(tài)，所述第一環(huán)境狀態(tài)和所述計(jì)算環(huán)境狀態(tài)分別表示虛擬場(chǎng)景的環(huán)境；

信息確定模塊，用于根據(jù)所述計(jì)算環(huán)境狀態(tài)和所述第一環(huán)境狀態(tài)在下一時(shí)刻的實(shí)際環(huán)境狀態(tài)，確定內(nèi)在獎(jiǎng)勵(lì)信息，所述內(nèi)在獎(jiǎng)勵(lì)信息用于指示執(zhí)行目標(biāo)動(dòng)作是否對(duì)虛擬對(duì)象有益，所述實(shí)際環(huán)境狀態(tài)用于指示所述虛擬場(chǎng)景處于所述第一環(huán)境狀態(tài)下所述虛擬對(duì)象執(zhí)行所述目標(biāo)動(dòng)作后的環(huán)境狀態(tài)；

參數(shù)調(diào)整模塊，用于根據(jù)所述內(nèi)在獎(jiǎng)勵(lì)信息，調(diào)整當(dāng)前動(dòng)作確定模型的參數(shù)；

模型確定模塊，用于響應(yīng)于所述當(dāng)前動(dòng)作確定模型符合第一目標(biāo)條件，將所述當(dāng)前動(dòng)作確定模型確定為訓(xùn)練完畢的動(dòng)作確定模型，所述動(dòng)作確定模型用于根據(jù)輸入的環(huán)境狀態(tài)輸出動(dòng)作。