[發明專利]一種游戲策略計算方法、裝置、系統及可讀存儲介質

有效

• 申請號: 201910716808.2
• 申請日: 2019-08-05
• 公開（公告）號: CN110302539B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 劉全;吳金金;陳松
• 申請（專利權）人: 蘇州大學
• 主分類號: A63F13/67
• 分類號: A63F13/67;G06N20/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉志紅

本發明公開了一種游戲策略計算方法、裝置、系統及計算機可讀存儲介質，該方法包括：預先采用多個歷史游戲樣本圖像，建立基于評估網絡最大動作值和最小動作值權重的游戲策略深度雙Q網絡模型；采用游戲策略深度雙Q網絡模型對目標游戲的多個圖像進行分析，得到最優評估網絡參數；依據最優評估網絡參數計算出與目標游戲中每個情節中的每個狀態分別對應的各個目標動作值；依據與每個情節中的每個狀態分別對應的各個目標動作值得到與目標游戲對應的游戲策略，本發明在使用過程中能夠得出最優的游戲策略，有助于提升用戶的游戲體驗。

技術領域

本發明實施例涉及計算機技術領域，特別是涉及一種策略計算方法、裝置、系統及計算機可讀存儲介質。

背景技術

深度強化學習是機器學習領域中一個新的研究熱點，它以一種通用的形式將深度學習的感知能力與強化學習的決策能力相結合，并通過端對端的方式學習從原始輸入到動作輸出的一個映射。在許多基于視覺感知的大規模決策任務中，深度強化學習方法已經取得突破性的進展。

目前，在游戲策略學習中，常用的網絡模型為深度Q網絡模型，深度Q網絡模型在處理需要感知高維輸入數據的決策控制任務中性能良好，然而深度Q網絡模型存在著高估動作值使Agent性能變差的問題，使通過該網絡模型確定出的游戲策略不是最優策略，影響玩家體驗效果。

鑒于此，如何得到最優游戲策略，提升玩家體驗成為本領域技術人員目前需要解決的問題。

發明內容

本發明實施例的目的是提供一種游戲策略計算方法、裝置、系統及計算機可讀存儲介質，在使用過程中能夠得出最優的游戲策略，有助于提升用戶的游戲體驗。

為解決上述技術問題，本發明實施例提供了一種游戲策略計算方法，包括：

預先采用多個歷史游戲樣本圖像，建立基于評估網絡最大動作值和最小動作值權重的游戲策略深度雙Q網絡模型；

采用所述游戲策略深度雙Q網絡模型對目標游戲的多個圖像進行分析，得到最優評估網絡參數；

依據所述最優評估網絡參數計算出與所述目標游戲中每個情節中的每個狀態分別對應的各個目標動作值；

依據與所述每個情節中的每個狀態分別對應的各個所述目標動作值得到與所述目標游戲對應的游戲策略。

可選的，所述預先采用多個歷史游戲樣本圖像，建立基于評估網絡最大動作值和最小動作值權重的游戲策略深度雙Q網絡模型的過程為：

S200：依據多個歷史游戲樣本圖像，獲取相應的各個情節、與每個所述情節分別對應的各個狀態以及與每個所述狀態分別對應的各個動作；

S210：初始化評估網絡參數θ₀、目標網絡參數θ^-₀和經驗池D；

S220：對第m個情節初始化相應的初始狀態s_m0，其中，m＝[1,M]，M為情節總數；

S230：在所述第m個情節經過第t個時間步后的當前狀態s_mt下，根據ε-greedy策略選擇并執行動作a_mt，進入與第t+1個時間步對應的狀態s_m(t+1)和立即獎賞r_m(t+1)，其中，t＝[0,T]，T為時間步總數；

S240：獲取轉移樣本(s_mt,a_mt,r_mt,s_m(t+1))，并將所述轉移樣本(s_mt,a_mt,r_mt,s_m(t+1))存入至所述經驗池D中；