[發明專利]游戲人工智能系統及其性能提升系統及方法

有效

• 申請號: 201911389843.4
• 申請日: 2019-12-30
• 公開（公告）號: CN111178541B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 王志偉;涂仕奎;徐雷
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 劉翠

本發明提供了一種游戲人工智能系統的性能提升方法，對多通道游戲數據使用深度并行計算框架計算節點初始值和返回信息估計；利用節點初始值形成樹形結構，并填入節點初始值作為數據節點信息，然后將數據節點信息回傳，更新各個數據節點保存的信息，輸出最終優先度；對輸入的多通道游戲數據，使用深度并行計算框架計算多通道游戲數據權重比例；對輸入的多通道游戲數據，使用深度門網絡模型獲取權重比例，結合固定數據記錄，計算兩者的加權組合優先度。同時提供了一種用于執行上述方法的系統以及一種采用上述方法進行性能提升的游戲人工智能系統。本發明上有效提高了有限數據下系統的性能，并因其相對低功耗的特點，有利于普通企業或團隊進行研制。

技術領域

本發明涉及采用計算機構建游戲人工智能系統技術領域，具體地，設計一種游戲人工智能系統及其性能提升方法，用以提高游戲對弈系統性能，是一種基于組合專家系統和深度并行計算框架的性能提升技術。

背景技術

采用計算機構建游戲人工智能系統，最初的技術主要專注于設計啟發函數，例如國際象棋AI程序深藍是由多名國際象棋高手設計特征，再由計算機程序員編寫極大極小搜索程序得來。但這類做法有以下局限：(1)人類對游戲的認知有限，例如對于圍棋等狀態空間極大的任務，人類的領域知識極為有限，從而設計的啟發函數也就不可靠；(2)極大極小搜索過于暴力，耗時巨大，效率低下，僅僅在國際象棋上超越人類，而無法在圍棋類對弈上取得突破進展；(3)手工線性特征過于簡單，無法適應復雜的圍棋類對弈，也無法發揮現代高性能計算資源的優勢。

隨著深度并行計算框架，特別是深度卷積神經網絡的發展，使得端到端的技術應用日益廣泛。目前有一些將多通道游戲數據(例如棋盤)視為圖像的方法出現，并取得了突破性的進展。卷積神經網絡是適合處理圖像的一類人工神經網絡，多通道游戲數據的方格和局部模式屬性使得它可以通過卷積神經網絡來提取特征。例如深度Q學習用卷積神經網絡代替表格模型，在Atari游戲上取得了較好的結果。對圍棋類對弈智能系統來說，使用卷積神經網絡代替人工特征，使得預測圍棋類專家落子的準確率取得巨大提高。但上述方法不對環境建模，沒有前向搜索的過程，隨之帶來的不穩定性是重要原因，如果引進在線的搜索技術，則可大大減少估值方差，從而提高系統的水平。

圍棋類對弈智能系統的研發，是幾十年來業界和學術界的研發焦點之一，它的人工智能程序研發極具挑戰性。目前已有用神經網絡對優先度和返回值進行建模的方法，但仍然是通過自我對弈進行抽樣，雖然效果很好但極其消耗硬件資源。具體地，優先度-返回值是用殘差模塊建立的，接收圍棋類棋盤表示作為輸入，估計其下一步落子概率分布和勝率，它可以看作是一種快而強大的啟發函數來指導蒙特卡洛樹搜索。近兩年有幾家企業、團隊沿用這種方法，研發出高水平的圍棋類對弈人工智能程序，但都僅僅是簡單復現，并未有理論或方法上的創新，且耗費硬件資源和時間巨大，普通研究者或個人無法承受。

機器學習手段可以用來訓練、增強游戲人工智能系統。對圍棋類對弈來說，可設計一個認知系統，用來初始化數據節點優先度，監督學習和強化學習都可以用于增強該認知系統。監督學習方法是用一個包含超過2000萬個(多通道游戲數據-優先信息-返回值)三元組的數據集來訓練優先度-返回值模型。強化學習是用自我對弈的方式產生大量數據用于增強系統，并且在迭代過程中產生更高質量的數據，而認知模塊性能逐漸變強。

組合多個分類器或其他學習器是很經典的技術，且在很多領域如人臉識別、房價預測、腫瘤檢測等取得了很好的效果，關于目前已有較多的理論研究。組合專家系統可以看作多個函數形式的專家的線性組合，組合的權重由一個門網絡控制，且與輸入有關。組合專家系統的參數(包括專家的參數和門網絡的參數)可通過最大似然或其他損失函數學習。因此，專家系統和門網絡的參數可以同時調整，也可以固定一個，優化另一個。不過，目前組合專家系統主要用于簡單模型如淺層神經網絡或線性分類器，尚未有用于棋類對弈系統、組合多個深度神經網絡模型的組合專家系統出現。

目前沒有發現同本發明類似技術的說明或報道，也尚未收集到國內外類似的資料。

發明內容