[發明專利]FPS游戲的AI模型訓練方法、裝置、系統和設備

在審

• 申請號: 202110697611.6
• 申請日: 2021-06-23
• 公開（公告）號: CN113521746A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 劉舟;徐鍵濱;吳梓輝;徐雅;王理平
• 申請（專利權）人: 廣州三七極耀網絡科技有限公司
• 主分類號: A63F13/67
• 分類號: A63F13/67;A63F13/837;G06N20/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 陳志明

本發明公開了一種FPS游戲的AI模型訓練方法，包括：獲取樣本數據；其中，所述樣本數據包括虛擬角色的游戲狀態數據和實際獎勵；將所述游戲狀態數據輸入到所述FPS游戲的AI模型中，以生成所述虛擬角色的預測獎勵；根據所述預測獎勵和實際獎勵計算所述FPS游戲的AI模型的損失函數；其中，所述實際獎勵通過預設的獎勵機制計算得到；根據所述損失函數對所述FPS游戲的AI模型進行優化，直至所述損失函數收斂。本發明還公開了一種FPS游戲的AI模型訓練裝置、系統和設備。采用本發明實施例，能夠針對復雜的游戲場景能夠進行有效的局面分析，給出合理的獎勵機制，避免虛擬角色在某一位置停留過久。

技術領域

本發明涉及模型訓練方法，尤其涉及一種FPS游戲的AI模型訓練方法、裝置、系統和設備。

背景技術

隨著電子競技行業的逐步發展，第一人稱視覺類射擊游戲(First-personshootinggame，FPS)越來越受到廣泛的關注。對于FPS游戲而言，為保證用戶在游戲過程中的良好體驗，往往需要構建AI模型并對其進行訓練，從而使得該AI模型能夠良好地應用在FPS游戲中。現有FPS游戲的AI模型一般僅能處理相對較為簡單的游戲場景，并遵循基礎的游戲規則提供游戲策略，當面對復雜的游戲場景或者復雜的游戲規則時，比如在設置獎勵機制時，沒有針對虛擬角色的來回移動進行合理的獎勵設置，導致虛擬角色在某一位置停留過久，影響用戶的游戲體驗。

發明內容

本發明實施例的目的是提供一種FPS游戲的AI模型訓練方法、裝置、系統和設備，能夠針對復雜的游戲場景能夠進行有效的局面分析，給出合理的獎勵機制，避免虛擬角色在某一位置停留過久。

為實現上述目的，本發明實施例提供了一種FPS游戲的AI模型訓練方法，包括：

獲取樣本數據；其中，所述樣本數據包括虛擬角色的游戲狀態數據和實際獎勵；

將所述游戲狀態數據輸入到所述FPS游戲的AI模型中，以生成所述虛擬角色的預測獎勵；

根據所述預測獎勵和實際獎勵計算所述FPS游戲的AI模型的損失函數；其中，所述實際獎勵通過預設的獎勵機制計算得到；所述獎勵機制包括：計算所述虛擬角色在采取動作后的當前時間步所處的位置與預設目標中心點的目標距離，根據所述目標距離計算實際獎勵；所述目標中心點為所述虛擬角色在前兩個時間步時所處位置所組成的圓的圓心；

根據所述損失函數對所述FPS游戲的AI模型進行優化，直至所述損失函數收斂。

作為上述方案的改進，所述游戲狀態數據包括：所述虛擬角色在當前時間歩的第一狀態信息、在當前時間歩的第一動作信息以及在下一時間歩的第二狀態信息，所述FPS游戲的AI模型包括第一網絡和第二網絡；則，將所述游戲狀態數據輸入到所述FPS游戲的AI模型中，以生成所述虛擬角色的預測獎勵，包括：

將所述第一狀態信息和所述第一動作信息輸入到所述第一網絡中，得到所述虛擬角色在當前時間步的第一狀態動作價值；

將所述第二狀態信息輸入到所述第二網絡中，得到第二動作信息；

將所述第二狀態信息和第二動作信息輸入到所述第一網絡中，得到所述虛擬角色在下一時間步的第二狀態動作價值；

計算所述第一狀態動作價值和所述第二狀態動作價值的價值差值作為所述預測獎勵。

作為上述方案的改進，根據所述預測獎勵和實際獎勵計算所述FPS游戲的AI模型的損失函數，包括：

根據所述預測獎勵和所述實際獎勵計算第一網絡的損失函數；

獲取所述第一網絡的預測值計算所述第二網絡的損失函數。

作為上述方案的改進，根據所述目標距離計算實際獎勵，包括：

當所述目標距離大于預設的距離閾值時，給予正向獎勵；