[發明專利]一種AI對象的策略預測模型訓練方法、裝置及電子設備

在審

• 申請號: 202211258440.8
• 申請日: 2022-10-14
• 公開（公告）號: CN115565031A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 王浩然;吳宇翔;朱展圖;周正
• 申請（專利權）人: 超參數科技（深圳）有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/44;G06N3/04;G06N3/08
• 代理公司: 深圳中細軟知識產權代理有限公司 44528
• 代理人: 袁文英

本申請涉及數據處理技術領域，具體涉及一種AI對象的策略預測模型訓練方法、計算機設備及存儲介質；本申請提供的技術方案，能夠基于獲取到模擬環境的實時狀態信息以及AI對象的實際行為反饋，訓練出一種輸出策略的預測模型。在進行模型推理時，能給出明確的策略，更具有解釋性，使用戶能更好的利用該模型。同時，本申請實施例提供的技術方案能夠根據環境的實時改變做出相應的決策，可以提高AI的靈活性。

技術領域

本申請涉及數據處理技術領域，具體涉及一種AI對象的策略預測模型訓練方法、裝置及電子設備。

背景技術

隨著人工智能(Artificial Intelligence，AI)技術的快速發展，人工智能技術被廣泛的應用于各個領域，例如，在游戲娛樂領域，通過人工智能技術可以實現游戲中虛擬用戶與真人之間的對局。雖然強化學習在一些游戲中表現超出人類，但是缺乏一定的可解釋性，現有的強化模型都是根據環境輸入，輸出一個具體的動作，例如向左移動一步，人們無法理解AI對象的策略和意圖，就不能判斷這些微操動作的合理性，也不能根據這些動作做出一定的反應，這給游戲開發者更好的利用這些AI對象帶來巨大的困難。

發明內容

為了解決以上的技術問題，本申請提供一種AI對象的策略預測模型訓練方法、計算機設備及存儲介質，通過輸出具體策略而非微操解決以上的問題。

為了達到上述目的，本申請實施例采用的技術方案如下：

第一方面，本發明實施例提供了一種AI對象的策略預測模型訓練方法，包括：

獲取模擬環境中的AI對象在當前環境下的實時狀態信息；

從所述實時狀態信息中提取第一特征信息和第二特征信息；

將所述第一特征信息和所述第二特征信息輸入到當前的策略預測模型中進行模型推理；

根據模型推理的輸出得到目標策略；

根據所述目標策略觸發狀態機輸出對應所述AI對象的具體動作；

控制所述AI對象執行所述具體動作與當前環境進行交互；

將上述過程產生的可以用于訓練的數據作為樣本數據進行保存；

通過多個所述樣本數據對所述策略預測模型進行訓練優化。

在本發明的一種示例性實施例中，所述策略預測模型為卷積神經網絡模型，所述卷積神經網絡模型包括第一卷積層、第二卷積層、第一全連接層、第二全連接層、第三全連接層和第四全連接層。

在本發明的一種示例性實施例中，所述從所述實時狀態信息中提取第一特征信息和第二特征信息的步驟，具體包括：

提取所述實時狀態信息中的圖像特征信息和向量特征信息。

在本發明的一種示例性實施例中，所述將所述第一特征信息和所述第二特征信息輸入到當前的策略預測模型中進行模型推理的步驟，具體包括：

將所述圖像特征信息經過所述第一卷積層、所述第二卷積層進行運算；

將所述向量特征信息經過所述第一全連接層、所述第二全連接層進行處理；

將運算和處理的結果進行拼接后經過所述第三全連接層、所述第四全連接層的處理得到策略概率分布和用于評價所述策略概率分布的Q值，作為模型推理的輸出。

在本發明的一種示例性實施例中，所述根據模型推理的輸出得到目標策略的步驟，具體包括：

對所述策略概率分布進行采樣得到目標策略。

在本發明的一種示例性實施例中，所述根據所述目標策略觸發狀態機輸出對應所述AI對象的具體動作的步驟，具體包括：