[發明專利]基于游戲樹搜索算法的決策模型數據處理方法及系統

在審

• 申請號: 202110369855.1
• 申請日: 2021-04-07
• 公開（公告）號: CN112765242A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 王嘉旸;雷捷維;李一華;任航;黃偉;熊喚亮;王命延
• 申請（專利權）人: 中至江西智能技術有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 何世磊

1.一種基于游戲樹搜索算法的決策模型數據處理方法，其特征在于，包括：

在游戲樹搜索算法的剪枝策略的設計過程中，利用雙深度Q學習算法模型預估在當前出牌決策中出每張牌對應的分數，選擇預估得分大于或等于分數閾值的出牌動作來擴展游戲樹，以得到對游戲樹進行剪枝的結果；

在游戲樹搜索算法的估值函數的設計過程中，若游戲樹搜索算法能夠在限定時間內搜索到游戲終局，則將估值函數設置為游戲終局能夠獲取到的游戲得分，若游戲樹搜索算法不能在限定時間內搜索到游戲終局，則利用雙深度Q學習算法模型計算當前游戲節點的每個動作的預估分數，并將預估分數的最大值作為估值函數的值。

2.根據權利要求1所述的基于游戲樹搜索算法的決策模型數據處理方法，其特征在于，在游戲樹搜索算法的剪枝策略的設計過程中，對于預估得分小于分數閾值的出牌動作不予考慮。

3.根據權利要求2所述的基于游戲樹搜索算法的決策模型數據處理方法，其特征在于，在游戲樹搜索算法的剪枝策略的設計過程中，利用雙深度Q學習算法模型預估在當前出牌決策中出每張牌對應的分數，選擇預估得分大于或等于分數閾值的出牌動作來擴展游戲樹，以得到對游戲樹進行剪枝的結果的步驟具體包括：

獲取當前出牌決策狀態信息；

將當前出牌決策狀態信息輸入至雙深度Q學習算法模型中，以計算出每張牌對應的預估得分；

將雙深度Q學習算法模型計算的預估得分降序排序，選擇預估得分排前k個的出牌動作，以得到對游戲樹進行剪枝的結果，其余的出牌動作不予考慮，作剪枝處理。

4.根據權利要求1所述的基于游戲樹搜索算法的決策模型數據處理方法，其特征在于，所述決策模型為麻將決策模型，在游戲樹搜索算法的估值函數的設計過程中，若游戲樹搜索算法能夠在限定時間內搜索到游戲終局，則將估值函數設置為游戲終局能夠獲取到的游戲得分，若游戲樹搜索算法不能在限定時間內搜索到游戲終局，則利用雙深度Q學習算法模型計算當前游戲節點的每個動作的預估分數，并將預估分數的最大值作為估值函數的值的步驟具體包括：

獲取當前出牌決策狀態下的麻將場面信息；

根據當前出牌決策狀態下的麻將場面信息確定當前節點的類型是抓牌節點還是出牌節點；

根據當前節點的類型將當前節點往下展開若干層游戲樹進行計算，對于沒有達到終局的情況，將雙深度Q學習算法模型的擬合值作為當前節點的分數，對于到達終局的情況，則將當前游戲分數作為當前節點的分數。

5.根據權利要求4所述的基于游戲樹搜索算法的決策模型數據處理方法，其特征在于，所述麻將場面信息包括手牌信息、副露信息、棄牌信息。

6.一種基于游戲樹搜索算法的決策模型數據處理系統，其特征在于，包括：

剪枝策略設計模塊，用于在游戲樹搜索算法的剪枝策略的設計過程中，利用雙深度Q學習算法模型預估在當前出牌決策中出每張牌對應的分數，選擇預估得分大于或等于分數閾值的出牌動作來擴展游戲樹，以得到對游戲樹進行剪枝的結果；

估值函數設計模塊，用于在游戲樹搜索算法的估值函數的設計過程中，若游戲樹搜索算法能夠在限定時間內搜索到游戲終局，則將估值函數設置為游戲終局能夠獲取到的游戲得分，若游戲樹搜索算法不能在限定時間內搜索到游戲終局，則利用雙深度Q學習算法模型計算當前游戲節點的每個動作的預估分數，并將預估分數的最大值作為估值函數的值。

7.根據權利要求6所述的基于游戲樹搜索算法的決策模型數據處理系統，其特征在于，所述剪枝策略設計模塊在游戲樹搜索算法的剪枝策略的設計過程中，對于預估得分小于分數閾值的出牌動作不予考慮。

8.根據權利要求7所述的基于游戲樹搜索算法的決策模型數據處理系統，其特征在于，所述剪枝策略設計模塊具體用于：

獲取當前出牌決策狀態信息；

將當前出牌決策狀態信息輸入至雙深度Q學習算法模型中，以計算出每張牌對應的預估得分；

將雙深度Q學習算法模型計算的預估得分降序排序，選擇預估得分排前k個的出牌動作，以得到對游戲樹進行剪枝的結果，其余的出牌動作不予考慮，作剪枝處理。