[發明專利]一種AI對象的策略預測模型訓練方法、裝置及電子設備

在審

• 申請號: 202211258440.8
• 申請日: 2022-10-14
• 公開（公告）號: CN115565031A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 王浩然;吳宇翔;朱展圖;周正
• 申請（專利權）人: 超參數科技（深圳）有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/44;G06N3/04;G06N3/08
• 代理公司: 深圳中細軟知識產權代理有限公司 44528
• 代理人: 袁文英

1.一種AI對象的策略預測模型訓練方法，其特征在于，所述方法包括：

獲取模擬環境中的AI對象在當前環境下的實時狀態信息；

從所述實時狀態信息中提取第一特征信息和第二特征信息；

將所述第一特征信息和所述第二特征信息輸入到當前的策略預測模型中進行模型推理；

根據模型推理的輸出得到目標策略；

根據所述目標策略觸發狀態機輸出對應所述AI對象的具體動作；

控制所述AI對象執行所述具體動作與當前環境進行交互；

將上述過程產生的可以用于訓練的數據作為樣本數據進行保存；

通過多個所述樣本數據對所述策略預測模型進行訓練優化。

2.根據權利要求1所述的AI對象的策略預測模型訓練方法，其特征在于，所述策略預測模型為卷積神經網絡模型，所述卷積神經網絡模型包括第一卷積層、第二卷積層、第一全連接層、第二全連接層、第三全連接層和第四全連接層。

3.根據權利要求2所述的AI對象的策略預測模型訓練方法，其特征在于，所述從所述實時狀態信息中提取第一特征信息和第二特征信息的步驟，具體包括：

提取所述實時狀態信息中的圖像特征信息和向量特征信息。

4.根據權利要求3所述的AI對象的策略預測模型訓練方法，其特征在于，所述將所述第一特征信息和所述第二特征信息輸入到當前的策略預測模型中進行模型推理的步驟，具體包括：

將所述圖像特征信息經過所述第一卷積層、所述第二卷積層進行運算；

將所述向量特征信息經過所述第一全連接層、所述第二全連接層進行處理；

將運算和處理的結果進行拼接后經過所述第三全連接層、所述第四全連接層的處理得到策略概率分布和用于評價所述策略概率分布的Q值，作為模型推理的輸出。

5.根據權利要求4所述的AI對象的策略預測模型訓練方法，其特征在于，所述根據模型推理的輸出得到目標策略的步驟，具體包括：

對所述策略概率分布進行采樣得到目標策略。

6.根據權利要求5所述的AI對象的策略預測模型訓練方法，其特征在于，所述根據所述目標策略觸發狀態機輸出對應所述AI對象的具體動作的步驟，具體包括：

狀態機根據所述目標策略確定相應的執行動作；

判斷所述執行動作的可行性；

如果可行，則將所述執行動作作為所述AI對象的具體動作進行輸出，如果不可行，則返回錯誤信息。

7.根據權利要求6所述的AI對象的策略預測模型訓練方法，其特征在于，所述樣本數據包括圖像特征信息、向量特征信息、廣義優勢估計GAE、Reward信息。

8.根據權利要求7所述的AI對象的策略預測模型訓練方法，其特征在于，所述通過多個所述樣本數據對所述策略預測模型進行訓練優化的步驟，具體包括：

獲取已保存的多個所述樣本數據；

通過Batch模塊對獲取的樣本數據進行組裝；

將組裝好的樣本數據輸入到所述策略預測模型中，計算得到策略梯度；

根據所述樣本數據和所述策略梯度對所述策略預測模型進行強化學習訓練。