[發明專利]一種游戲中機器人的訓練方法、系統和電子設備

在審

• 申請號: 202210240801.X
• 申請日: 2022-03-10
• 公開（公告）號: CN114699771A
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 王昭蓉
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: A63F13/67
• 分類號: A63F13/67;A63F13/58;A63F13/46
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁

1.一種游戲中機器人的訓練方法，其特征在于，包括：

獲取待訓練的機器人的狀態信息，以及所述機器人預設范圍內的玩家的玩家信息；所述玩家信息至少包括所述玩家對應的游戲對戰的結算信息、所述玩家的狀態信息和所述玩家的動作信息；所述玩家的狀態信息包括所述玩家的自身狀態信息和所述玩家對應的場地信息；

將所述結算信息處理成為元數據形式的第一數據表，將所述玩家的狀態信息和所述玩家的動作信息處理成為數據對形式的第二數據表，根據所述玩家對應的場地信息將所述第一數據表和所述第二數據表拼接成為結果數據表，所述結果數據表中的每行包含所述玩家在一場游戲對戰中的結算元數據信息，狀態信息和動作信息；

基于所述機器人的狀態信息和所述結果數據表，通過模仿學習建立用于輸出所述機器人待執行動作的狀態動作模型。

2.根據權利要求1所述的方法，其特征在于，所述機器人的狀態信息，包括所述機器人的自身狀態信息和所述機器人對應的場地信息。

3.根據權利要求1所述的方法，其特征在于，所述動作信息包括以下至少一種：移動動作、技能動作、拾取動作。

4.根據權利要求1所述的方法，其特征在于，所述將所述結算信息處理成為元數據形式的第一數據表，將所述玩家的狀態信息和所述玩家的動作信息處理成為數據對形式的第二數據表，根據所述玩家對應的場地信息將所述第一數據表和所述第二數據表拼接成為結果數據表，包括：采用Spark算子，將所述結算信息處理成為元數據形式的第一數據表，將所述玩家的狀態信息和所述玩家的動作信息處理成為數據對形式的第二數據表，以及根據所述玩家對應的場地信息將所述第一數據表和所述第二數據表拼接成為結果數據表。

5.根據權利要求1所述的方法，其特征在于，所述將所述玩家的狀態信息和所述玩家的動作信息處理成為數據對形式的第二數據表，包括：

確定所述動作信息中目標技能幀的前面N個動作幀是否均為移動幀，若是，則將所述動作信息中所述目標技能幀的前面N個動作幀修改為技能幀；

和/或，

確定所述目標技能幀的后面N個動作幀是否均為移動幀，若是，則將所述動作信息中所述目標技能幀的后面N個動作幀修改為技能幀；

將所述玩家的狀態信息和所述玩家修改后的動作信息處理為數據對形式的第二數據表，其中，所述N為正整數。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

根據對所述目標技能幀的前面N個動作幀的修改和/或對所述目標技能幀的后面N個動作幀的修改，對所述玩家的狀態信息中對應的技能相關信息進行調整。

7.根據權利要求1所述的方法，其特征在于，所述將所述玩家的狀態信息和所述玩家的動作信息處理成為數據對形式的第二數據表，包括：

檢測所述玩家的動作信息中是否存在連續的M個移動幀，其中，M為正整數；

若是，則刪除所述M個移動幀中的部分移動幀，得到修改后的動作信息；

將所述玩家的狀態信息和所述修改后的動作信息處理為數據對形式的第二數據表。

8.根據權利要求1所述的方法，其特征在于，所述將所述玩家的狀態信息和所述玩家的動作信息處理成為數據對形式的第二數據表，包括：

根據所述玩家的狀態信息和所述玩家的動作信息，篩選符合預設條件的目標狀態信息和目標動作信息，所述狀態信息包括所述目標狀態信息，所述動作信息包括所述目標動作信息；

將所述目標狀態信息和所述目標動作信息處理成為數據對形式的第二數據表。

9.根據權利要求1所述的方法，其特征在于，所述基于所述機器人的狀態信息和所述結果數據表，通過模仿學習建立用于輸出所述機器人待執行動作的狀態動作模型，包括：

基于所述機器人的狀態信息和所述結果數據表，通過初始的狀態動作模型，獲得所述機器人的預測動作；

根據所述預測動作、所述狀態信息和結果數據表，計算獲得損失函數值；

當所述損失函數值達到預設閾值時，獲得用于輸出所述機器人待執行動作的狀態動作模型。