[發明專利]一種確定出牌候選項的方法及裝置

在審

• 申請號: 202010104375.8
• 申請日: 2020-02-20
• 公開（公告）號: CN111330282A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 陳杰;倪煜
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: A63F13/67
• 分類號: A63F13/67;A63F13/79;G06N3/08;G06N20/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 趙曉榮

1.一種確定出牌候選項的方法，其特征在于，所述方法包括：

獲取目標玩家的狀態特征和所述目標玩家對應的聯合出牌特征；所述目標玩家對應的聯合出牌特征為參與游戲的各個玩家在本局游戲中的歷史出牌特征；

根據所述目標玩家的狀態特征、所述目標玩家對應的聯合出牌特征和預先訓練的機器學習模型，得到所述目標玩家對應的出牌候選項集合中各個出牌候選項的獎勵值；其中，第一出牌候選項的獎勵值用于指示基于所述第一出牌候選項觸發出牌動作贏得游戲的可能性，所述第一出牌候選項為所述出牌候選項集合中的任意一個出牌候選項；

根據得到的所述出牌候選項集合中各個出牌候選項的獎勵值，確定所述目標玩家在本輪游戲中的出牌候選項。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

確定目標玩家對應的出牌候選項集合，所述出牌候選項集合包括一個或者多個出牌候選項；

所述根據所述目標玩家的狀態特征、所述目標玩家對應的聯合出牌特征和預先訓練的機器學習模型，得到目標玩家對應的出牌候選項集合中各個出牌候選項的獎勵值，包括：

將所述目標玩家的狀態特征、所述目標玩家對應的聯合出牌特征以及預設的出牌項集合，輸入所述機器學習模型，得到所述出牌項集合中各出牌項對應的獎勵值；

根據所述出牌項對應的獎勵值和所述目標玩家對應的出牌候選項集合，得到所述目標玩家對應的出牌候選項集合中各個出牌候選項的獎勵值。

3.根據權利要求1所述的方法，其特征在于，

所述方法還包括：確定目標玩家對應的出牌候選項集合，所述出牌候選項集合包括一個或者多個出牌候選項；

所述根據所述目標玩家的狀態特征、所述目標玩家對應的聯合出牌特征和預先訓練的機器學習模型，得到目標玩家對應的出牌候選項集合中各個出牌候選項的獎勵值包括：

將所述目標玩家的狀態特征、所述目標玩家對應的聯合出牌特征以及所述目標玩家對應的出牌候選項集合，輸入所述機器學習模型，得到目標玩家對應的出牌候選項集合中各個出牌候選項的獎勵值。

4.根據權利要求1所述的方法，其特征在于，

所述機器學習模型，是基于樣本數據訓練得到的；

所述樣本數據，包括歷史玩家的狀態特征、所述歷史玩家對應的聯合出牌特征以及所述歷史玩家對應的勝負結果；所述歷史玩家對應的聯合出牌特征為參與游戲的各個玩家在所述樣本數據對應的當局游戲中的歷史出牌特征。

5.根據權利要求1所述的方法，其特征在于，所述目標玩家的狀態特征，包括一下任意一項或者多項：

所述目標玩家的角色、所述目標玩家持有的牌、各個玩家在本局游戲中的歷史出牌。

6.根據權利要求1所述的方法，其特征在于，所述目標玩家對應的聯合出牌特征，為描述所述參與游戲的各個玩家在本局游戲中歷史出牌的牌面內容以及體現所述各個玩家出牌順序的特征。

7.根據權利要求1所述的方法，其特征在于，

所述根據所述目標玩家的狀態特征、所述目標玩家對應的聯合出牌特征和預先訓練的機器學習模型，得到所述目標玩家對應的出牌候選項集合中各個出牌候選項的獎勵值包括：

確定所述目標玩家的角色，并確定與所述目標玩家的角色對應的機器學習模型；

根據所述目標玩家的狀態特征、所述目標玩家對應的聯合出牌特征和與所述目標玩家的角色對應的機器學習模型，得到所述目標玩家對應的出牌候選項集合中各個出牌候選項的獎勵值。

8.根據權利要求1-7任意一項所述的方法，其特征在于，所述機器學習模型，為深度強化學習DQN模型。

9.根據權利要求1-8所述的方法，其特征在于，根據得到的所述出牌候選項集合中各個出牌候選項的獎勵值，確定所述目標玩家在本輪游戲中的出牌候選項，包括：

將獎勵值大于或者等于預設閾值的一個或者多個出牌候選項，確定為所述目標玩家在本輪游戲中的出牌候選項；或者，

將獎勵值最大的獎勵值最大的出牌候選項，確定為所述目標玩家在本輪游戲中的出牌候選項。