[發(fā)明專利]FPS游戲的AI模型訓(xùn)練方法、裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110800433.5
• 申請日: 2021-07-15
• 公開（公告）號: CN113663335A
• 公開（公告）日: 2021-11-19
• 發(fā)明（設(shè)計）人: 劉舟;徐鍵濱;吳梓輝;徐雅;王理平
• 申請（專利權(quán)）人: 廣州三七極耀網(wǎng)絡(luò)科技有限公司
• 主分類號: A63F13/57
• 分類號: A63F13/57;A63F13/825;A63F13/837
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 陳志明;郝傳鑫

本發(fā)明公開了一種FPS游戲的AI模型訓(xùn)練方法，包括：基于FPS游戲的AI模型獲取虛擬角色在當(dāng)前時間步的第一狀態(tài)動作價值以及在下一時間步的第二狀態(tài)動作價值；計算第一狀態(tài)動作價值和第二狀態(tài)動作價值的價值差值作為預(yù)測獎勵；根據(jù)預(yù)測獎勵和實際獎勵計算損失函數(shù)；實際獎勵通過預(yù)設(shè)的獎勵機(jī)制計算得到；獎勵機(jī)制包括：確定虛擬角色在預(yù)設(shè)的移動方向上的路況類型，根據(jù)路況類型和虛擬角色的實際移動方向計算實際獎勵；根據(jù)損失函數(shù)對模型進(jìn)行優(yōu)化，直至損失函數(shù)收斂。采用本發(fā)明實施例，能夠針對復(fù)雜的游戲場景進(jìn)行有效的局面分析，使得訓(xùn)練后的AI模型輸出的虛擬角色行為能夠更好的模擬真實人類行為，提高用戶的游戲體驗。

技術(shù)領(lǐng)域

本發(fā)明涉及模型訓(xùn)練方法，尤其涉及一種FPS游戲的AI模型訓(xùn)練方法、裝置、設(shè)備和存儲介質(zhì)。

背景技術(shù)

隨著電子競技行業(yè)的逐步發(fā)展，第一人稱視覺類射擊游戲(First-personshootinggame，F(xiàn)PS)越來越受到廣泛的關(guān)注。對于FPS游戲而言，為保證用戶在游戲過程中的良好體驗，往往需要構(gòu)建AI模型并對其進(jìn)行訓(xùn)練，從而使得該AI模型能夠良好地應(yīng)用在FPS游戲中。現(xiàn)有的游戲模型一般僅能處理相對較為簡單的游戲場景，并遵循基礎(chǔ)的游戲規(guī)則提供游戲策略。虛擬角色根據(jù)游戲策略在虛擬場景中做出的動作為用戶提供沉浸感和真實性，而這種沉浸感和真實性來源于虛擬角色在虛擬場景中所采取動作的合理性，對于角色是人的虛擬角色而言，人們希望虛擬角色的行為動作都與真實的人盡可能地相似。當(dāng)面對復(fù)雜的游戲場景或者復(fù)雜的游戲規(guī)則時，比如障礙物判斷，游戲模型難以做出有效的局面分析，自然也很難給準(zhǔn)確地障礙物判斷結(jié)果，可能會誤導(dǎo)虛擬角色朝著存在障礙物的移動方向移動，導(dǎo)致AI模型使輸出的虛擬角色行為與真實人類行為相差甚遠(yuǎn)，進(jìn)而導(dǎo)致用戶無法很好的融入到游戲環(huán)境中，影響用戶的游戲體驗。

發(fā)明內(nèi)容

本發(fā)明實施例的目的是提供一種FPS游戲的AI模型訓(xùn)練方法、裝置、設(shè)備和存儲介質(zhì)，能夠針對復(fù)雜的游戲場景能夠進(jìn)行有效的局面分析，使得訓(xùn)練后的AI模型輸出的虛擬角色行為能夠更好的模擬真實人類行為，提高用戶的游戲體驗。

為實現(xiàn)上述目的，本發(fā)明實施例提供了一種FPS游戲的AI模型訓(xùn)練方法，包括：

基于FPS游戲的AI模型獲取虛擬角色在當(dāng)前時間步的第一狀態(tài)動作價值以及在下一時間步的第二狀態(tài)動作價值；

計算所述第一狀態(tài)動作價值和所述第二狀態(tài)動作價值的價值差值作為預(yù)測獎勵；

根據(jù)所述預(yù)測獎勵和實際獎勵計算所述FPS游戲的AI模型的損失函數(shù)；其中，所述實際獎勵通過預(yù)設(shè)的獎勵機(jī)制計算得到；所述獎勵機(jī)制包括：確定所述虛擬角色在預(yù)設(shè)的移動方向上的路況類型，根據(jù)所述路況類型以及所述虛擬角色的實際移動方向計算實際獎勵；

根據(jù)所述損失函數(shù)對所述FPS游戲的AI模型進(jìn)行優(yōu)化，直至所述損失函數(shù)收斂。

作為上述方案的改進(jìn)，確定所述虛擬角色在預(yù)設(shè)的移動方向上的路況類型，包括：

以所述虛擬角色當(dāng)前所處位置向所述移動方向發(fā)射兩條平行射線；其中，所述兩條平行射線的高度差滿足預(yù)設(shè)的高度差閾值；

在當(dāng)前時間步的當(dāng)前幀檢測所述兩條平行射線的射線探測情況；

根據(jù)所述射線探測情況確定在所述移動方向上的障礙物檢測情況；

根據(jù)所述障礙物檢測情況確定所述虛擬角色在所述移動方向上的路況類型。

作為上述方案的改進(jìn)，根據(jù)所述射線探測情況確定在所述移動方向上的障礙物檢測情況，包括：

當(dāng)所述射線探測情況為在所述當(dāng)前時間步的當(dāng)前幀未檢測到有射線返回距離值時，確定該射線在所述移動方向上未檢測到障礙物；

當(dāng)所述射線探測情況為在所述當(dāng)前時間步的當(dāng)前幀檢測到有射線返回距離值時，確定該射線在所述移動方向上檢測到障礙物。