[發明專利]一種游戲智能體訓練方法及裝置

有效

• 申請號: 201910327828.0
• 申請日: 2019-04-23
• 公開（公告）號: CN110141867B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 徐波
• 申請（專利權）人: 廣州多益網絡股份有限公司;廣東利為網絡科技有限公司;多益網絡有限公司
• 主分類號: A63F13/79
• 分類號: A63F13/79;A63F13/822
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

1.一種游戲智能體訓練方法，其特征在于，包括：

對玩家角色的自身狀態、觀測狀態及輸出行為進行編碼，得到玩家數據，并根據所述玩家數據，構建玩家智能體；

采用預先建立的初始NPC對所述玩家智能體進行交互訓練，并根據訓練后的玩家智能體的參數更新玩家行為策略對應的參數；

對NPC的自身狀態、觀測狀態及輸出行為進行編碼，得到NPC數據，并根據所述NPC數據，構建NPC智能體；

根據所述玩家行為策略對應的參數，采用所述訓練后的玩家智能體對所述NPC智能體進行交互訓練，并根據訓練后的NPC智能體的參數更新NPC行為策略對應的參數；

迭代地使用所述NPC行為策略對應的參數優化所述玩家行為策略對應的參數，以及使用所述玩家行為策略對應的參數優化所述NPC行為策略對應的參數，直至所述NPC行為策略穩定，具體包括：

重復執行以下步驟，直至所述NPC行為策略穩定：

使用上次訓練后的NPC智能體，固定其行為策略對應的參數，對上次訓練后的玩家智能體進行交互訓練，并根據當前訓練后的玩家智能體的參數更新上次訓練得到的玩家行為策略對應的參數；使用所述當前訓練后的玩家智能體，固定其行為策略對應的參數，對所述上次訓練后的NPC智能體進行交互訓練，并根據當前訓練后的NPC智能體的參數更新所述上次訓練得到的NPC行為策略對應的參數；

其中，根據游戲的NPC的性能要求判斷NPC行為策略是否穩定。

2.如權利要求1所述的游戲智能體訓練方法，其特征在于，所述對玩家角色的自身狀態、觀測狀態及輸出行為進行編碼，得到玩家數據，并根據所述玩家數據，構建玩家智能體，具體包括：

選擇編碼模式；其中，所述編碼模式包括向量編碼模式、第一圖像編碼模式和第二圖像編碼模式；

根據所述編碼模式，對所述玩家角色的自身狀態、觀測狀態進行編碼，得到玩家狀態數據；

采用one-hot方式對所述玩家角色的輸出行為進行編碼，得到玩家輸出行為數據；

根據所述玩家狀態數據和所述玩家輸出行為數據，生成玩家數據，并根據所述玩家數據，構建玩家智能體。

3.如權利要求2所述的游戲智能體訓練方法，其特征在于，所述對玩家角色的自身狀態、觀測狀態及輸出行為進行編碼，得到玩家數據，并根據所述玩家數據，構建玩家智能體，具體包括：

當所述編碼模式為向量編碼模式時，提取玩家游戲狀態數據，對所述玩家角色的自身狀態和觀測狀態進行向量形式編碼；

根據所述玩家游戲狀態數據，提取連續狀態特征和離散狀態特征；

對所述連續狀態特征進行歸一化處理，得到連續狀態數據；

采用one-hot方式對所述離散狀態特征進行編碼，得到離散狀態數據，并根據所述離散狀態數據和所述連續狀態數據，得到向量形式的玩家狀態數據；

采用one-hot方式對所述玩家角色的輸出行為進行編碼，得到玩家輸出行為數據；

根據所述向量形式的玩家狀態數據和所述玩家輸出行為數據，生成玩家數據，并根據所述玩家數據，構建玩家智能體。

4.如權利要求2所述的游戲智能體訓練方法，其特征在于，所述對玩家角色的自身狀態、觀測狀態及輸出行為進行編碼，得到玩家數據，并根據所述玩家數據，構建玩家智能體，具體包括：

當所述編碼模式為第一圖像編碼模式時，獲取當前的游戲畫面作為決策數據，作為智能體的輸入；

根據圖像灰度化是否丟失信息決策的數據信息，選擇是否對所述當前的游戲畫面進行灰度化處理，得到第一圖像形式的玩家狀態數據；

采用one-hot方式對所述玩家角色的輸出行為進行編碼，得到玩家輸出行為數據；

根據所述第一圖像形式的玩家狀態數據和所述玩家輸出行為數據，生成玩家數據，并根據所述玩家數據，構建玩家智能體。