[發明專利]游戲中虛擬角色的控制方法、裝置及計算機設備

在審

• 申請號: 202111275605.8
• 申請日: 2021-10-29
• 公開（公告）號: CN113996063A
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 張勝寒;周航;劉宇
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: A63F13/55
• 分類號: A63F13/55;A63F13/822;A63F13/825;G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 袁忠林

1.一種游戲中虛擬角色的控制方法，其特征在于，應用于目標智能體；所述游戲包括多個虛擬角色；多個所述虛擬角色中包括受控于所述目標智能體的第一虛擬角色、以及未受控于所述目標智能體的第二虛擬角色；所述方法包括：

獲取游戲過程中的當前游戲狀態信息；所述當前游戲狀態信息包括下述至少一種：所述第一虛擬角色的當前狀態信息、所述第二虛擬角色的當前狀態信息、所述游戲的游戲場景的當前狀態信息；

利用預先訓練的目標神經網絡，基于所述當前游戲狀態信息進行動作預測處理，得到所述第一虛擬角色執行動作的動作信息；

基于所述動作信息，控制所述第一虛擬角色執行所述動作。

2.根據權利要求1所述的方法，其特征在于，受控于所述目標智能體的所述第一虛擬角色至少有一個；

所述動作信息包括下述至少一種：動作時刻、以及動作類型、所述第一虛擬角色中執行動作的目標第一虛擬角色、以及所述第二虛擬角色中屬于動作對象的目標第二虛擬角色、所述第一虛擬角色執行動作時在所述游戲場景中的動作位置。

3.根據權利要求1所述的方法，其特征在于，所述第一虛擬角色的當前狀態信息包括下述至少一種：所述第一虛擬角色具有的第一虛擬資類型、第一虛擬資源量、第一建筑狀態、第一技能狀態、在所述游戲場景中的第一位置、第一生命值、第一魔法值、第一陣營信息、第一增益數據、第一減益數據；

所述第二虛擬角色的當前狀態信息包括下述至少一種：所述第二虛擬角色具有的第二虛擬資源類型、第二虛擬資源量、第二建筑狀態、第二技能狀態、在所述游戲場景中的第二位置、第二生命值、第二魔法值、第二陣營信息、第二增益數據、第二減益數據、類型信息；

所述游戲場景的當前狀態信息包括下述至少一種：所述第一虛擬角色的可視區域信息、第三虛擬資源類型、虛擬資源位置、以及虛擬資源刷新的剩余時間。

4.根據權利要求1-3任一項所述的方法，其特征在于，所述動作類型包括下述至少一種：攻擊、資源采集、建造、生產、偵查、撤退。

5.根據權利要求1-4任一項所述的方法，其特征在于，采用下述方式訓練所述目標神經網絡：

獲取多個玩家分別對應的游戲對局的游戲數據；

基于所述游戲對局對應的游戲數據，生成樣本數據；所述樣本數據包括：多個動作時刻分別對應的樣本動作信息、以及樣本游戲狀態信息；

利用所述樣本數據對原始神經網絡進行監督訓練，得到初始化神經網絡；

對所述初始化神經網絡進行第一強化訓練，得到至少一個目標神經網絡。

6.根據權利要求5所述的方法，其特征在于，所述利用所述樣本數據對原始神經網絡進行監督訓練，得到初始化神經網絡，包括：

將多個所述動作時刻分別對應的所述樣本游戲狀態信息作為輸入數據，將所述多個動作時刻分別對應的樣本動作信息作為監督數據，對所述原始神經網絡進行監督訓練，得到所述初始化神經網絡。

7.根據權利要求5或6所述的方法，其特征在于，所述對所述初始化神經網絡進行第一強化訓練，得到至少一個目標神經網絡，包括：

對所述初始化神經網絡進行至少兩次迭代訓練，并基于最后一次迭代得到的備選神經網絡，得到所述目標神經網絡；其中，對于任一次迭代訓練過程，包括：

確定至少一個待訓練神經網絡，以及確定輔助神經網絡；其中，所述待訓練神經網絡包括所述初始化神經網絡和/或所述任一次迭代訓練過程的前一次迭代訓練過程生成的備選神經網絡；所述輔助神經網絡包括：用于對所述待訓練神經網絡進行游戲對抗能力訓練的第一輔助神經網絡、以及用于對所述待訓練神經網絡進行游戲對抗能力訓練和/或游戲配合能力訓練的第二輔助神經網絡；

利用所述輔助神經網絡、以及至少一個待訓練神經網絡分別對應的第一訓練參數，對所述待訓練神經網絡進行第一強化訓練，得到所述任一次迭代訓練過程的備選神經網絡；其中，不同的待訓練神經網絡對應的第一訓練參數不同。