[發明專利]游戲模型的數據處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110228510.4
• 申請日: 2021-03-02
• 公開（公告）號: CN113159313B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 查道琛;馬文曄;謝靜如
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;A63F13/79;G06N3/04
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 黃麗霞

1.一種游戲模型的數據處理方法，其特征在于，所述方法包括：

獲取設置在遠端的游戲模擬器自我博弈產生的對局數據，所述對局數據包括所述游戲模擬器基于第一出牌模型的神經網絡自我博弈時各角色對象的狀態數據、與所述狀態數據對應的目標行為以及對局結果，所述狀態數據至少包括相應角色對象所持有的手牌信息以及歷史出牌信息；

基于所述對局結果，將所述各角色對象的狀態數據和與所述狀態數據對應的目標行為輸入與所述第一出牌模型的神經網絡參數相同的第二出牌模型的神經網絡，所述第一出牌模型的神經網絡通過同步第二出牌模型的神經網絡參數得到；

采用強化學習算法訓練所述第二出牌模型的神經網絡，得到神經網絡的參數更新后的目標出牌模型。

2.根據權利要求1所述的方法，其特征在于，所述獲取設置在遠端的游戲模擬器自我博弈產生的對局數據，包括：

獲取設置在遠端的所述游戲模擬器基于第一出牌模型的神經網絡自我博弈時對應目標角色對象的狀態數據以及與所述狀態數據對應的所有候選行為；

基于游戲策略和狀態數據，獲取與所述狀態數據對應的每一個候選行為的決策數據；

根據每一個候選行為的決策數據確定與所述狀態數據對應的目標行為；

獲取執行所述目標行為后的執行結果，直到游戲結束時獲取所述游戲的對局結果。

3.根據權利要求1所述的方法，其特征在于，在所述獲取設置在遠端的游戲模擬器自我博弈產生的對局數據之后，所述方法還包括：

基于游戲中的不同角色對象，將所述對局數據存儲在與各角色對象對應的緩沖區中；

所述采用強化學習算法訓練所述第二出牌模型的神經網絡，得到神經網絡的參數更新后的目標出牌模型，包括：

基于各角色對象對應的緩沖區中的對局數據，采用強化學習算法并行訓練各角色對象對應的第二出牌模型的神經網絡，得到與各角色對象對應的神經網絡的參數更新后的目標出牌模型。

4.根據權利要求3所述的方法，其特征在于，所述基于各角色對象對應的緩沖區中的對局數據，采用強化學習算法并行訓練各角色對象對應的第二出牌模型的神經網絡，得到與各角色對象對應的神經網絡的參數更新后的目標出牌模型，包括：

當存在數據量達到設定值的緩沖區時，則基于所述數據量達到設定值的緩沖區中的對局數據，采用強化學習算法訓練與所述緩沖區的角色對象對應的第二出牌模型的神經網絡，得到對應角色對象的神經網絡的參數更新后的目標出牌模型。

5.根據權利要求1所述的方法，其特征在于，在得到神經網絡的參數更新后的目標出牌模型之后，所述方法還包括：

將更新后的神經網絡的參數傳輸給設置在遠端的游戲模擬器，所述更新后的神經網絡的參數用于指示更新所述游戲模擬器；

所述獲取設置在遠端的游戲模擬器自我博弈產生的對局數據，包括：

獲取設置在遠端的更新后的游戲模擬器自我博弈產生的對局數據。

6.根據權利要求5所述的方法，其特征在于，所述將更新后的神經網絡的參數傳輸給設置在遠端的游戲模擬器，包括：

在對神經網絡的參數更新前進行加鎖設置；直到所述神經網絡的參數更新后進行鎖釋放，并將更新后的神經網絡的參數傳輸給設置在遠端的游戲模擬器。

7.根據權利要求1至6任一項所述的方法，其特征在于，在得到與各角色對象對應的神經網絡的參數更新后的目標出牌模型之后，所述方法還包括：

獲取實際游戲場景中所述目標出牌模型對應的角色對象的狀態數據以及與所述狀態數據對應的所有候選行為；

將所述狀態數據以及與所述狀態數據對應的所有候選行為輸入所述目標出牌模型，得到所述目標出牌模型輸出的與所述狀態數據對應的每一個候選行為的決策數據；

根據每一個候選行為的決策數據確定滿足條件的目標行為進行出牌。