[發明專利]一種游戲控制方法及裝置、存儲介質

在審

• 申請號: 202010627214.7
• 申請日: 2020-07-01
• 公開（公告）號: CN113877202A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 夏宗濤
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: A63F13/49
• 分類號: A63F13/49;A63F13/55;G06N3/04;G06N3/06
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 侯艷華;張穎玲

本發明公開了一種游戲控制方法及裝置、存儲介質，方法包括：當檢測到目標視頻游戲開始時，獲取當前視頻幀；基于當前視頻幀和預設在線值網絡，得到當前灰度圖和當前動作，并控制目標視頻游戲執行當前動作，得到當前獎賞值和下一步視頻幀，進而得到當前五元組并保存至預設數據庫；當得到的當前五元組的個數大于或等于預設樣本個數、且預設訓練總輪數大于零時，基于預設目標值網絡和預設數據庫，對預設在線值網絡進行參數更新；當前五元組的個數為預設訓練總步長的整數倍時，利用預設在線值網絡的參數對預設目標值網絡的參數進行替換，并對預設訓練總輪數減一；將下一步視頻幀作為當前視頻幀，繼續上述過程。通過本發明，能提升對事件的控制效果。

技術領域

本發明涉及動態優化技術，尤其涉及一種游戲控制方法及裝置、存儲介質。

背景技術

目前，深度強化學習作為人工智能研究的熱點領域，其將深度學習的感知能力和強化學習的決策能力相結合，為動態優化相關的事件(例如，視頻游戲)提供了一種新的控制思路。

由于深度強化學習存在不穩定和過估計的問題，相關技術在視頻游戲的控制中采用一種深度Q網絡的改進算法，試圖緩解深度強化學習算法的過估計問題。然而，由于Q-Learning算法是異策略算法，這本身就會增加深度強化學習算法的不穩定性，并且，每次都采用貪婪策略(greedy策略)選擇在視頻游戲中所執行的動作，每次都用Max算子選擇最優動作，反而會放大深度強化學習算法的過估計問題。因此，深度強化學習中的不穩定和過估計問題仍舊存在，從而降低了事件的控制效果。

發明內容

本發明提出一種游戲控制方法及裝置、存儲介質，旨在提升了對事件的控制效果。

本發明的技術方案是這樣實現的：

本發明實施例提供了一種游戲控制方法，所述方法包括：

當檢測到目標視頻游戲開始時，獲取當前視頻幀；

基于所述當前視頻幀和預設在線值網絡，得到當前灰度圖和當前動作，并控制所述目標視頻游戲執行所述當前動作，得到當前獎賞值和下一步視頻幀；

基于所述當前灰度圖、所述當前動作、所述當前獎賞值、所述下一步視頻幀和所述預設在線值網絡，得到當前五元組并保存至預設數據庫；

當得到的當前五元組的個數大于或等于預設樣本個數、且預設訓練總輪數大于零時，基于預設目標值網絡和所述預設數據庫，對所述預設在線值網絡進行參數更新；

當所述得到的當前五元組的個數為預設訓練總步長的整數倍時，利用所述預設在線值網絡的參數對所述預設目標值網絡的參數進行替換，并對所述預設訓練總輪數減一；

將所述下一步視頻幀作為所述當前視頻幀，繼續基于所述當前視頻幀和預設在線值網絡，得到當前灰度圖和當前動作。

上述方案中，所述預設在線值網絡和所述預設目標值網絡均為三個卷積層和兩個全連接層組成的網絡。

上述方案中，所述基于所述當前視頻幀和預設在線值網絡，得到當前灰度圖和當前動作，包括：

對所述當前視頻幀進行灰度化處理，得到所述當前灰度圖；

將所述當前灰度圖和預設待選動作中的每個待選動作，輸入所述預設在線值網絡，得到所述每個待選動作對應的當前評價值；

根據所述每個待選動作對應的當前評價值，從所述預設待選動作中確定當前評價值最大的最優動作；

利用∈-greedy策略，從所述預設待選動作或所述當前評價值最大的最優動作中得到所述當前動作。

上述方案中，所述基于所述當前灰度圖、所述當前動作、所述當前獎賞值、所述下一步視頻幀和所述預設在線值網絡，得到當前五元組并保存至預設數據庫，包括：