[發明專利]一種游戲機器人訓練方法及裝置

在審

• 申請號: 202210488342.7
• 申請日: 2022-05-06
• 公開（公告）號: CN115089967A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 胡裕靖;胡志鵬;劉賀;呂唐杰;范長杰
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: A63F13/55
• 分類號: A63F13/55;G06N3/08;G06N20/00
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 劉瑞英

本申請公開了一種游戲機器人訓練方法及裝置。所述游戲機器人訓練方法，包括：獲取待訓練的游戲機器人所在游戲局面當前的多組游戲狀態信息；對每組所述游戲狀態信息進行特征提取處理，獲得每組所述游戲狀態信息對應的嵌入向量；將所述多組游戲狀態信息分別對應的所述嵌入向量進行特征融合處理，獲得融合嵌入向量；基于所述融合嵌入向量進行強化學習，獲得所述游戲機器人的行為策略；基于所述游戲機器人執行所述行為策略后的執行結果，獲取所述游戲機器人的獎勵信號；基于所述獎勵信號以及所述游戲狀態信息，對所述游戲機器人進行訓練。采用所述方法，解決了計算機游戲中游戲機器人決策能力較低的問題。

技術領域

本申請涉及人工智能技術領域，具體涉及一種游戲機器人訓練方法、裝置電子設備及存儲介質。

背景技術

隨著計算機游戲技術的發展，在游戲中植入具有類人智能的游戲機器人模擬人類玩家決策，既可以在玩家人數受限的情況下作為虛擬玩家與真實玩家對戰、互動，也可以向真實玩家提供游戲行為策略建議。

現有技術中提供的游戲機器人一般采用基于規則的方法做出游戲決策，存在如下缺陷：首先，基于規則的方法做出的游戲決策往往是固定和可預測的，因此不具備類似人類智能的靈活多變的特性和高階理性特征，導致游戲沉浸感和真實感缺失。其次，基于規則的游戲決策的智能程度取決于規則的復雜程度。若要實現更加智能的游戲決策就必須添加更多的規則，這給游戲的維護和優化帶來不便。

因此，如何提供具有較高決策能力的游戲機器人是需要解決的問題。

發明內容

本申請實施例提供的游戲機器人訓練方法，解決了計算機游戲中游戲機器人決策能力較低的問題。

本申請實施例提供一種游戲機器人訓練方法，包括：獲取待訓練的游戲機器人所在游戲局面當前的多組游戲狀態信息；對每組所述游戲狀態信息進行特征提取處理，獲得每組所述游戲狀態信息對應的嵌入向量；將所述多組游戲狀態信息分別對應的所述嵌入向量進行特征融合處理，獲得融合嵌入向量；基于所述融合嵌入向量進行強化學習，獲得所述游戲機器人的行為策略；基于所述游戲機器人執行所述行為策略后的執行結果，獲取所述游戲機器人的獎勵信號；基于所述獎勵信號以及所述游戲狀態信息，對所述游戲機器人進行訓練。

可選的，所述對每組所述游戲狀態信息進行特征提取處理，獲得每組所述游戲狀態信息對應的嵌入向量，包括：通過每組所述游戲狀態信息對應的第一多層感知器，獲取每組所述游戲狀態信息對應的嵌入向量。

可選的，所述獲取待訓練的游戲機器人所在游戲局面中的多組游戲狀態信息，包括：獲取待訓練的游戲機器人所在游戲局面中的多個游戲狀態信息；基于所述多個游戲狀態信息之間的語義相關性，對所述多個游戲狀態信息進行分組，獲得多組游戲狀態信息。

可選的，所述游戲狀態信息包括絕對數值型信息和相對數值型信息。

可選的，所述游戲狀態信息包括游戲模式和/或所述游戲機器人的歷史動作序列。

可選的，所述方法還包括：根據每組所述游戲狀態信息的維度變化，調整與每組所述游戲狀態信息對應的第一多層感知器的輸入層神經元數量，所述輸入層神經元用于接收向所述第一多層感知器輸入的游戲狀態信息。

可選的，所述根據每組所述游戲狀態信息的維度變化，調整與每組所述游戲狀態信息對應的第一多層感知器的輸入層的神經元數量，包括：若所述游戲狀態信息的維度變大，則增加與所述游戲狀態信息對應的第一多層感知器的輸入層的神經元數量，并建立增加的神經元與所述第一多層感知器的隱藏層神經元之間的連接，設定新增參數的初始權重，在訓練過的游戲機器人的已有參數基礎上訓練所述游戲機器人。

可選的，所述執行結果包括所述游戲機器人在所述游戲局面中的位置。