[發明專利]虛擬對象的動作確定模型訓練方法、裝置、設備及介質

在審

• 申請號: 202011217465.4
• 申請日: 2020-11-04
• 公開（公告）號: CN112221140A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 杜雪瑩;石貝;練振杰;高一鳴;陳光偉;王亮;付強
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: A63F13/55
• 分類號: A63F13/55
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 徐立

1.一種虛擬對象的動作確定模型訓練方法，其特征在于，所述方法包括：

基于虛擬場景的第一環境狀態，確定所述虛擬場景在目標時長后的計算環境狀態，所述第一環境狀態和所述計算環境狀態分別表示虛擬場景的環境；

根據所述計算環境狀態和所述第一環境狀態在下一時刻的實際環境狀態，確定內在獎勵信息，所述內在獎勵信息用于指示執行目標動作是否對虛擬對象有益，所述實際環境狀態用于指示所述虛擬場景處于所述第一環境狀態下所述虛擬對象執行所述目標動作后的環境狀態；

根據所述內在獎勵信息，調整當前動作確定模型的參數；

響應于所述當前動作確定模型符合第一目標條件，將所述當前動作確定模型確定為訓練完畢的動作確定模型，所述動作確定模型用于根據輸入的環境狀態輸出動作。

2.根據權利要求1所述的方法，其特征在于，所述根據所述計算環境狀態和所述第一環境狀態在下一時刻的實際環境狀態，確定內在獎勵信息，包括：

獲取所述第一環境狀態與所述計算環境狀態的第一差值；

獲取所述實際環境狀態與所述計算環境狀態的第二差值；

將所述第一差值和所述第二差值之間的目標差值確定為所述內在獎勵信息，所述目標差值不為負表示執行所述目標動作對所述虛擬對象有益。

3.根據權利要求2所述的方法，其特征在于，所述獲取所述第一環境狀態與所述計算環境狀態的第一差值之前，所述方法還包括：

將所述第一環境狀態和所述實際環境狀態，變換到與所述計算環境狀態相同的維度。

4.根據權利要求1所述的方法，其特征在于，所述基于虛擬場景的第一環境狀態，確定所述虛擬場景在目標時長后的計算環境狀態，包括：

確定所述虛擬場景的第一環境狀態的第一環境向量；

將所述第一環境向量輸入環境狀態確定模型，由所述環境狀態確定模型輸出所述虛擬場景在目標時長后的計算環境狀態，所述環境狀態確定模型用于根據已知的環境狀態計算目標時長后的環境狀態。

5.根據權利要求4所述的方法，其特征在于，所述環境狀態確定模型的訓練步驟包括：

獲取第一樣本環境狀態和在目標時長之后所述第一樣本環境狀態對應的第二樣本環境狀態；

以所述第一樣本環境狀態為輸入，所述第二樣本環境狀態為標簽信息，對本次迭代過程中的環境狀態確定模型進行訓練；

響應于所述本次迭代過程中的環境狀態確定模型符合第二目標條件，將所述本次迭代過程中的環境狀態確定模型作為訓練完畢的環境狀態確定模型。

6.根據權利要求5所述的方法，其特征在于，所述第二樣本環境狀態基于先驗知識提取得到。

7.根據權利要求4所述的方法，其特征在于，所述環境狀態確定模型為任一次迭代過程對應的環境狀態確定模型。

8.根據權利要求1所述的方法，其特征在于，所述根據所述內在獎勵信息，調整當前動作確定模型的參數之后，所述方法還包括：

對所述當前動作確定模型進行自對弈訓練。

9.一種虛擬對象的動作確定模型訓練裝置，其特征在于，所述裝置包括：

狀態確定模塊，用于基于虛擬場景的第一環境狀態，確定所述虛擬場景在目標時長后的計算環境狀態，所述第一環境狀態和所述計算環境狀態分別表示虛擬場景的環境；

信息確定模塊，用于根據所述計算環境狀態和所述第一環境狀態在下一時刻的實際環境狀態，確定內在獎勵信息，所述內在獎勵信息用于指示執行目標動作是否對虛擬對象有益，所述實際環境狀態用于指示所述虛擬場景處于所述第一環境狀態下所述虛擬對象執行所述目標動作后的環境狀態；

參數調整模塊，用于根據所述內在獎勵信息，調整當前動作確定模型的參數；

模型確定模塊，用于響應于所述當前動作確定模型符合第一目標條件，將所述當前動作確定模型確定為訓練完畢的動作確定模型，所述動作確定模型用于根據輸入的環境狀態輸出動作。