[發明專利]一種游戲策略計算方法、裝置、系統及可讀存儲介質

有效

• 申請號: 201910716808.2
• 申請日: 2019-08-05
• 公開（公告）號: CN110302539B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 劉全;吳金金;陳松
• 申請（專利權）人: 蘇州大學
• 主分類號: A63F13/67
• 分類號: A63F13/67;G06N20/00
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 劉志紅

1.一種游戲策略計算方法，其特征在于，包括：

預先采用多個歷史游戲樣本圖像，建立基于評估網絡最大動作值和最小動作值權重的游戲策略深度雙Q網絡模型；

采用所述游戲策略深度雙Q網絡模型對目標游戲的多個圖像進行分析，得到最優評估網絡參數；

依據所述最優評估網絡參數計算出與所述目標游戲中每個情節中的每個狀態分別對應的各個目標動作值；

依據與所述每個情節中的每個狀態分別對應的各個所述目標動作值得到與所述目標游戲對應的游戲策略。

2.根據權利要求1所述的游戲策略計算方法，其特征在于，所述預先采用多個歷史游戲樣本圖像，建立基于評估網絡最大動作值和最小動作值權重的游戲策略深度雙Q網絡模型的過程為：

S200：依據多個歷史游戲樣本圖像，獲取相應的各個情節、與每個所述情節分別對應的各個狀態以及與每個所述狀態分別對應的各個動作；

S210：初始化評估網絡參數θ₀、目標網絡參數θ^-₀和經驗池D；

S220：對第m個情節初始化相應的初始狀態s_m0，其中，m＝[1,M]，M為情節總數；

S230：在所述第m個情節經過第t個時間步后的當前狀態s_mt下，根據ε-greedy策略選擇并執行動作a_mt，進入與第t+1個時間步對應的狀態s_m(t+1)和立即獎賞r_m(t+1)，其中，t＝[0,T]，T為時間步總數；

S240：獲取轉移樣本(s_mt,a_mt,r_mt,s_m(t+1))，并將所述轉移樣本(s_mt,a_mt,r_mt,s_m(t+1))存入至所述經驗池D中；

S250：判斷所述經驗池中當前的轉移樣本總數是否達到第一預設值，若是，則從所述經驗池中抽取預設數量個目標轉移樣本；若否，則判斷所述t是否等于T，若是，則將所述m更新為m+1，返回執行S220；若否，則將所述t更新為t+1，返回執行S230；

S260：采用第j個目標轉移樣本計算出目標網絡在相應狀態下的最大動作值和最小動作值的權重，并依據所述第j個目標轉移樣本及所述權重對當前的評估網絡參數進行更新，得到本次更新后的評估網絡參數；

S270：判斷所述j是否等于J，其中，J為所預設數量的數值，若是，則將所述更新后的評估網絡參數作為最新的評估網絡參數；若否，則將所述j更新為j+1，并返回執行S260；

S280：判斷當前經過的時間步總數是否達到第二預設值，若是，則將當前最新的評估網絡參數值賦值給到當前的目標網絡參數，以對所述目標網絡參數進行更新；

S290：判斷m是否等于M，若是，則結束，獲取所述最新的評估網絡參數，并將所述最新的評估網絡參數作為最優評估網絡參數；若否，則將所述m更新為m+1，返回執行S220。