[發(fā)明專利]一種用戶行為模擬方法、裝置、電子設(shè)備及存儲介質(zhì)在審
| 申請?zhí)枺?/td> | 202110241480.0 | 申請日： | 2021-03-04 |
| 公開（公告）號： | CN113144605A | 公開（公告）日： | 2021-07-23 |
| 發(fā)明（設(shè)計）人： | 陳坤龍 | 申請（專利權(quán)）人： | 百果園技術(shù)（新加坡）有限公司 |
| 主分類號： | A63F13/56 | 分類號： | A63F13/56 |
| 代理公司： | 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319 | 代理人： | 莎日娜 |
| 地址： | 新加坡巴西班讓路*** | 國省代碼： | 暫無信息 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 用戶 行為 模擬 方法 裝置 電子設(shè)備 存儲 介質(zhì) | ||
1.一種用戶行為模擬方法，其特征在于，所述方法包括：
獲取游戲地圖的地圖配置信息及用戶的行為價值函數(shù)；
根據(jù)所述地圖配置信息及所述行為價值函數(shù)，在所述游戲地圖中對所述用戶進行行為模擬，得到預測行為軌跡，所述預測行為軌跡中包括多個連續(xù)的軌跡信息，每個軌跡信息包括狀態(tài)信息、行為信息及獎勵信息；
針對每個所述狀態(tài)信息及對應(yīng)的行為信息的組合，從所述預測行為軌跡中查找該組合對應(yīng)的軌跡信息，根據(jù)查找到的軌跡信息中的獎勵信息，更新所述行為價值函數(shù)，并返回所述根據(jù)所述地圖配置信息及所述行為價值函數(shù)，在所述游戲地圖中對所述用戶進行行為模擬，得到預測行為軌跡的步驟，直至所述行為價值函數(shù)收斂；
在獲取到當前狀態(tài)信息之后，根據(jù)收斂后的所述行為價值函數(shù)及所述當前狀態(tài)信息，分別計算不同行為信息對應(yīng)的獎勵信息，根據(jù)計算得到的取值最高的獎勵信息對應(yīng)的行為信息，模擬用戶在當前狀態(tài)的行為。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)查找到的軌跡信息中的獎勵信息，更新所述行為價值函數(shù)，包括：
針對每個查找到的軌跡信息，對該軌跡信息及其之后查找到的其他軌跡信息中的獎勵信息進行加權(quán)求和，得到該軌跡信息的回報值，其中，每個獎勵信息的權(quán)重與其對應(yīng)的軌跡信息與該軌跡信息之間的距離成反比；
計算每個組合對應(yīng)的多個軌跡信息的回報值的均值，作為該組合的回報值，更新所述行為價值函數(shù)中該組合的回報值。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，采用如下公式，針對每個查找到的軌跡信息，對該軌跡信息及其之后查找到的其他軌跡信息中的獎勵信息進行加權(quán)求和，得到該軌跡信息的回報值：
其中，γ是預設(shè)折現(xiàn)因子，取值為0≤γ≤1，Gt為該軌跡信息的回報值，t為當前軌跡信息的位置，Rt+1、Rt+2……Rt+k+1為該軌跡信息之后的軌跡信息的獎勵信息，inf表示無窮大。
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述行為信息對應(yīng)多個預設(shè)用戶行為中的任一種，所述根據(jù)收斂后的所述行為價值函數(shù)及所述當前狀態(tài)信息，分別計算不同行為信息對應(yīng)的獎勵信息，包括：
針對每個行為信息，確定所述當前狀態(tài)信息與該行為信息分別對應(yīng)的組合，作為候選組合；
根據(jù)收斂后的所述行為價值函數(shù)，計算每個候選組合對應(yīng)的回報值，作為該候選組合中行為信息對應(yīng)的獎勵信息。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述狀態(tài)信息中包括第一角色的位置、第二角色的位置以及投擲點數(shù)，所述行為信息中包括選擇所述第一角色或選擇所述第二角色；
所述在獲取到當前狀態(tài)信息之后，根據(jù)所述行為價值函數(shù)，計算不同行為信息對應(yīng)的所述當前狀態(tài)信息的獎勵信息，包括：
在獲取到當前狀態(tài)信息之后，將所述當前狀態(tài)信息中的第一角色的位置、第二角色的位置以及投擲點數(shù)輸入至所述行為價值函數(shù)，計算得到選擇所述第一角色的獎勵信息以及選擇所述第二角色的獎勵信息。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)計算得到的取值最高的獎勵信息對應(yīng)的行為信息，模擬用戶在當前狀態(tài)的行為之后，所述方法還包括：
獲取新的當前狀態(tài)信息；
返回所述在獲取到當前狀態(tài)信息之后，根據(jù)收斂后的所述行為價值函數(shù)及所述當前狀態(tài)信息，分別計算不同行為信息對應(yīng)的獎勵信息，根據(jù)計算得到的取值最高的獎勵信息對應(yīng)的行為信息，模擬用戶在當前狀態(tài)的行為的步驟，直至所述當前狀態(tài)信息滿足預設(shè)通關(guān)條件，表示本輪游戲結(jié)束；
根據(jù)本輪游戲中軌跡信息的數(shù)量，計算得到本輪游戲的凈收益；
若所述凈收益非負，則獲取新的地圖配置信息；若所述凈收益為負，則根據(jù)所述地圖配置信息向所述用戶展示游戲地圖。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于百果園技術(shù)（新加坡）有限公司，未經(jīng)百果園技術(shù)（新加坡）有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110241480.0/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
