[發明專利]國標麻將游戲自動博弈方法、系統、設備及存儲介質

在審

• 申請號: 202310243197.0
• 申請日: 2023-03-14
• 公開（公告）號: CN116236791A
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 李厚強;周文罡;范智磊;趙鑒;趙有朋
• 申請（專利權）人: 中國科學技術大學
• 主分類號: A63F13/67
• 分類號: A63F13/67;G06N20/00;G06N3/08;G06N3/0464
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種國標麻將游戲自動博弈方法、系統、設備及存儲介質，吸收了傳統方法的設計思路，使用深度強化學習方法和分布式訓練框架的工程架構，能夠提升設備利用效率，可以更為高效更為全面的進行游戲仿真，通過智能體的自博弈能夠采集到大量的訓練數據，通過深度強化學習方法能夠訓練出高性能的智能體，將訓練得到的智能體應用于國標麻將游戲自動博弈能夠提升整體的智能化程度，也能夠提升用戶體驗。

技術領域

本發明涉及人工智能技術領域，尤其涉及一種國標麻將游戲自動博弈方法、系統、設備及存儲介質。

背景技術

近年來，深度強化學習取得了令人矚目的成果。由于與現實場景類似并具有良好的交互性等特點，游戲成為了深度強化學習技術理想的實驗靶場。目前，人工智能技術在簡單的游戲場景中已經取得了超越人類的水平，研究熱點開始轉向環境更加復雜的游戲，如非完美信息條件下多智能體合作或競爭環境。

國標麻將游戲環境是一種經典的零和博弈環境，在國標麻將游戲環境中，共有四名玩家同臺競技并各自為戰，在34種、132張牌中收集想要的牌組成不同的和牌番型。智能體需要在和牌番型與和牌概率中權衡，還需根據場上局勢分析對手所需牌型，減少對手和牌獲勝的可能。牌墻、暗牌等不可見牌型為國標麻將環境增加了非完美信息因素，給游戲環境增加了不確定性和龐大的動作空間；國標麻將番型多樣，上至88番下至1番，共12個等級81種番型，且部分番型可疊加，極大增加了游戲的復雜性。

目前國標麻將游戲自動博弈方案中大多采用如下兩類方法：

第一類是采用基于規則的方法，如啟發式算法、搜索樹、行為樹等，此類方法引入人類經驗信息，往往采取獲勝最快的動作，缺點是難以利用全部狀態信息，如對手信息、時序信息等，也難以權衡防御策略，因此，智能化程度不高。具體的：此類方法往往是由現有的國標麻將游戲經驗出發，針對不同情況下的狀態信息，依據先驗知識對決策樹的搜索范圍進行限制。國標麻將中不可見牌型的存在帶來龐大的狀態空間，跳躍的回合輪次使得在考慮全局信息情況下，搜索樹的寬度龐大難以承受。而僅考慮己方狀態的決策樹難以搜索到有效的防御策略，因此性能很容易遇到瓶頸且很難提升，導致智能化程度較低。

第二類是采用監督學習方法，此類方法采用神經網絡擬合人類專家動作，具有訓練速度快，計算資源需求小的優勢。但此類方法的性能上限嚴重依賴訓練數據集質量，且難以做到風格多樣，因此，智能化程度也有待提升。具體的：此類方法對訓練集質量敏感，智能體的水平上限、決策風格與訓練集數據相關性強，當數據集確定時，很難突破原有性能上限，也很難制作多風格的決策系統。人類專家對局數據收集成本巨大，由于國標麻將游戲中暗牌的存在為游戲帶來隨機性，因此難以通過少量對局判斷數據的質量，也難以在訓練過程中實時判斷不同階段智能體的決策水平，因此，同樣導致智能化程度較低。

隨著強化學習技術的發展與計算機硬件的迭代更新，越來越多的智能決策工作開始圍繞深度強化學習技術來開展。這一技術路線逐漸成為解決國標麻將游戲問題的主流方法，同時此方法也可以向同類的其他非完美信息多智能體回合制博弈問題進行推廣。但是，基于強化學習的國標麻將方法依賴大量地與環境交互，因此高效的并發系統尤為重要。傳統的方法僅考慮算力的堆疊，往往忽視了并發交互環境之間帶來的影響，降低了計算設備的利用效率，增大了智能體開發的計算成本與時間成本。

因此，有必要研究新的技術方案，在提升國標麻將游戲自動博弈智能化程度的同時，提升設備利用效率。

發明內容

本發明的目的是提供一種國標麻將游戲自動博弈方法、系統、設備及存儲介質，可以在提升國標麻將游戲自動博弈智能化程度的同時，提升設備利用效率。

本發明的目的是通過以下技術方案實現的：

一種國標麻將游戲自動博弈方法，包括：