[發明專利]一種用戶行為模擬方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110241480.0
• 申請日: 2021-03-04
• 公開（公告）號: CN113144605A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 陳坤龍
• 申請（專利權）人: 百果園技術（新加坡）有限公司
• 主分類號: A63F13/56
• 分類號: A63F13/56
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種用戶行為模擬方法，其特征在于，所述方法包括：

獲取游戲地圖的地圖配置信息及用戶的行為價值函數；

根據所述地圖配置信息及所述行為價值函數，在所述游戲地圖中對所述用戶進行行為模擬，得到預測行為軌跡，所述預測行為軌跡中包括多個連續的軌跡信息，每個軌跡信息包括狀態信息、行為信息及獎勵信息；

針對每個所述狀態信息及對應的行為信息的組合，從所述預測行為軌跡中查找該組合對應的軌跡信息，根據查找到的軌跡信息中的獎勵信息，更新所述行為價值函數，并返回所述根據所述地圖配置信息及所述行為價值函數，在所述游戲地圖中對所述用戶進行行為模擬，得到預測行為軌跡的步驟，直至所述行為價值函數收斂；

在獲取到當前狀態信息之后，根據收斂后的所述行為價值函數及所述當前狀態信息，分別計算不同行為信息對應的獎勵信息，根據計算得到的取值最高的獎勵信息對應的行為信息，模擬用戶在當前狀態的行為。

2.根據權利要求1所述的方法，其特征在于，所述根據查找到的軌跡信息中的獎勵信息，更新所述行為價值函數，包括：

針對每個查找到的軌跡信息，對該軌跡信息及其之后查找到的其他軌跡信息中的獎勵信息進行加權求和，得到該軌跡信息的回報值，其中，每個獎勵信息的權重與其對應的軌跡信息與該軌跡信息之間的距離成反比；

計算每個組合對應的多個軌跡信息的回報值的均值，作為該組合的回報值，更新所述行為價值函數中該組合的回報值。

3.根據權利要求2所述的方法，其特征在于，采用如下公式，針對每個查找到的軌跡信息，對該軌跡信息及其之后查找到的其他軌跡信息中的獎勵信息進行加權求和，得到該軌跡信息的回報值：

其中，γ是預設折現因子，取值為0≤γ≤1，G_t為該軌跡信息的回報值，t為當前軌跡信息的位置，R_t+1、R_t+2……R_t+k+1為該軌跡信息之后的軌跡信息的獎勵信息，inf表示無窮大。

4.根據權利要求2所述的方法，其特征在于，所述行為信息對應多個預設用戶行為中的任一種，所述根據收斂后的所述行為價值函數及所述當前狀態信息，分別計算不同行為信息對應的獎勵信息，包括：

針對每個行為信息，確定所述當前狀態信息與該行為信息分別對應的組合，作為候選組合；

根據收斂后的所述行為價值函數，計算每個候選組合對應的回報值，作為該候選組合中行為信息對應的獎勵信息。

5.根據權利要求1所述的方法，其特征在于，所述狀態信息中包括第一角色的位置、第二角色的位置以及投擲點數，所述行為信息中包括選擇所述第一角色或選擇所述第二角色；

所述在獲取到當前狀態信息之后，根據所述行為價值函數，計算不同行為信息對應的所述當前狀態信息的獎勵信息，包括：

在獲取到當前狀態信息之后，將所述當前狀態信息中的第一角色的位置、第二角色的位置以及投擲點數輸入至所述行為價值函數，計算得到選擇所述第一角色的獎勵信息以及選擇所述第二角色的獎勵信息。

6.根據權利要求1所述的方法，其特征在于，在所述根據計算得到的取值最高的獎勵信息對應的行為信息，模擬用戶在當前狀態的行為之后，所述方法還包括：

獲取新的當前狀態信息；

返回所述在獲取到當前狀態信息之后，根據收斂后的所述行為價值函數及所述當前狀態信息，分別計算不同行為信息對應的獎勵信息，根據計算得到的取值最高的獎勵信息對應的行為信息，模擬用戶在當前狀態的行為的步驟，直至所述當前狀態信息滿足預設通關條件，表示本輪游戲結束；

根據本輪游戲中軌跡信息的數量，計算得到本輪游戲的凈收益；

若所述凈收益非負，則獲取新的地圖配置信息；若所述凈收益為負，則根據所述地圖配置信息向所述用戶展示游戲地圖。