[發明專利]一種游戲智能體訓練方法及裝置

有效

• 申請號: 201910327828.0
• 申請日: 2019-04-23
• 公開（公告）號: CN110141867B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 徐波
• 申請（專利權）人: 廣州多益網絡股份有限公司;廣東利為網絡科技有限公司;多益網絡有限公司
• 主分類號: A63F13/79
• 分類號: A63F13/79;A63F13/822
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

本發明公開了一種游戲智能體訓練方法及裝置，包括對玩家角色的自身狀態、觀測狀態及輸出行為進行編碼，得到玩家數據，構建玩家智能體；采用預先建立的初始NPC對玩家智能體進行交互訓練，并根據訓練后的玩家智能體的參數更新玩家行為策略對應的參數；根據玩家行為策略對應的參數，采用訓練后的玩家智能體對NPC智能體進行交互訓練，并根據訓練后的NPC智能體的參數更新NPC行為策略對應的參數；迭代地使用NPC行為策略對應的參數優化玩家行為策略對應的參數，以及使用玩家行為策略對應的參數優化NPC行為策略對應的參數，直至NPC行為策略穩定，能有效解決現有技術難以獲得對非玩家角色訓練中與玩家的交互數據的問題，能有效提升非玩家智能體的訓練效果。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種游戲智能體訓練方法及裝置。

背景技術

隨著現代經濟繁榮發展，電子游戲的不斷進步和提升，現在已經成為人們主要的休閑娛樂方式之一。游戲中非玩家角色的行為決策是影響游戲質量和用戶體驗的重要因素。傳統游戲人工智能的實現是通過狀態機或行為樹來實現，通過智能體處在不同的環境和狀態采取不同的策略。然而隨著游戲狀態增加，環境因素越來越復雜，通過傳統方式實現顯得復雜和效率低下。

目前，強化學習已被廣泛應用于智能控制，智能預測，游戲人工智能等諸多領域。強化學習利用智能體和環境的不斷交互，不斷獲得回報，通過最大化回報的方式進行學習，目前在游戲中獲得比較理想的效果。而目前強化學習在游戲人工智能主要在模擬玩家角色的實現，無論是玩家和玩家之間的競技，玩家和非玩家角色的競技，主要運用在玩家角色方。對非玩家角色的訓練需要大量對應的玩家交互的數據，而這些數據很多時候是很難獲得的。

發明內容

本發明實施例提供一種游戲智能體訓練方法及裝置，能有效解決現有技術難以獲得對非玩家角色訓練中與玩家的交互數據的問題。

本發明一實施例提供一種游戲智能體訓練方法，包括：

對玩家角色的自身狀態、觀測狀態及輸出行為進行編碼，得到玩家數據，并根據所述玩家數據，構建玩家智能體；

采用預先建立的初始NPC對所述玩家智能體進行交互訓練，并根據訓練后的玩家智能體的參數更新玩家行為策略對應的參數；

對NPC的自身狀態、觀測狀態及輸出行為進行編碼，得到NPC數據，并根據所述NPC數據，構建NPC智能體；

根據所述玩家行為策略對應的參數，采用所述訓練后的玩家智能體對所述NPC智能體進行交互訓練，并根據訓練后的NPC智能體的參數更新NPC行為策略對應的參數；

迭代地使用所述NPC行為策略對應的參數優化所述玩家行為策略對應的參數，以及使用所述玩家行為策略對應的參數優化所述NPC行為策略對應的參數，直至所述NPC行為策略穩定。

作為上述方案的改進，所述迭代地使用所述NPC行為策略對應的參數優化所述玩家行為策略對應的參數，以及使用所述玩家行為策略對應的參數優化所述NPC行為策略對應的參數，直至所述NPC行為策略穩定，具體包括：

重復執行以下步驟，直至所述NPC行為策略穩定：

使用上次訓練后的NPC智能體，固定其行為策略對應的參數，對上次訓練后的玩家智能體進行交互訓練，并根據當前訓練后的玩家智能體的參數更新上次訓練得到的玩家行為策略對應的參數；使用所述當前訓練后的玩家智能體，固定其行為策略對應的參數，對所述上次訓練后的NPC智能體進行交互訓練，并根據當前訓練后的NPC智能體的參數更新所述上次訓練得到的NPC行為策略對應的參數。

作為上述方案的改進，所述對玩家角色的自身狀態、觀測狀態及輸出行為進行編碼，得到玩家數據，并根據所述玩家數據，構建玩家智能體，具體包括：

選擇編碼模式；其中，所述編碼模式包括向量編碼模式、第一圖像編碼模式和第二圖像編碼模式；