[發明專利]AI模型訓練方法、使用方法、計算機設備及存儲介質

在審

• 申請號: 202011315163.0
• 申請日: 2020-11-20
• 公開（公告）號: CN112274935A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 周正;朱展圖;李宏亮;劉永升
• 申請（專利權）人: 超參數科技（深圳）有限公司
• 主分類號: A63F13/67
• 分類號: A63F13/67;G06N20/00
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 何姣

1.一種AI模型訓練方法，其特征在于，包括：

獲取目標應用程序的關卡配置數據，并根據所述關卡配置數據生成對應的關卡；

提取所述關卡對應的初始關卡信息，并利用所述初始關卡信息獲取訓練樣本數據，其中，所述初始關卡信息包括關卡元素信息和通關限定信息，所述關卡元素信息用于表征當前關卡的棋盤布局及用戶可操控的游戲元素種類和游戲元素在所述棋盤上的分布，所述通關限定信息用于表征當前關卡通關的必要條件；

根據訓練樣本數據獲取已知闖關信息和未知闖關信息；

根據已知闖關信息生成第一類圖像特征和向量特征，并根據未知闖關信息和已知闖關信息生成第二類圖像特征；

通過第一預設模型基于所述第一類圖像特征和所述向量特征獲取游戲角色執行策略的第一預測值；

通過第二預設模型基于所述第二類圖像特征和所述向量特征獲取所述游戲角色執行策略的第二預測值；

基于所述第一預測值和第二預測值對所述第一預設模型進行訓練，以獲取目標AI模型。

2.根據權利要求1所述的AI模型的訓練方法，其特征在于，獲取目標應用程序的關卡配置數據，并根據所述關卡配置數據生成對應的關卡，包括：

根據預設函數關系選擇從關卡配置數據集中選擇對應的關卡配置數據，所述預設函數關系是關卡配置數據被選中概率與關卡通關率的對應關系；

根據關卡配置數據生成對應的關卡。

3.根據權利要求2所述的AI模型的訓練方法，其特征在于，所述預設函數關系為：P(i)＝e^1-W(i)/∑e^1-W(i)，其中，P(i)表示第i關卡配置數據被選中概率，W(i)表示第i關卡的通關率。

4.根據權利要求1所述的AI模型訓練方法，其特征在于，所述通過第一預設模型基于所述第一類圖像特征和所述向量特征獲取游戲角色執行策略的第一預測值，包括：

將所述第一類圖像特征輸入所述第一預設模型的殘差網絡進行卷積操作，以及將所述向量特征輸入所述第一預設模型的全連接網絡進行處理；

將所述第一預設模型的殘差網絡和全連接網絡的輸出結果進行拼接，得到第一拼接結果；

通過所述第一預設模型的兩層全連接層基于所述第一拼接結果，獲取所述游戲角色的動作標簽的第一概率分布及第一價值評估值，得到執行策略的第一預測值。

5.根據權利要求4所述的AI模型訓練方法，其特征在于，所述通過第二預設模型基于所述第二類圖像特征和向量特征，獲取所述游戲元素執行策略的第二預測值，包括：

將所述第二類圖像特征輸入所述第二預設模型的殘差網絡進行卷積操作，以及將所述向量特征輸入所述第二預設模型的全連接網絡進行處理；

將所述第二預設模型的殘差網絡和全連接網絡的輸出結果進行拼接，得到第二拼接結果；

通過所述第二預設模型的兩層全連接層基于所述第二拼接結果，獲取所述游戲角色的動作標簽的第二概率分布及第二價值評估值，得到執行策略的第二預測值。

6.根據權利要求5所述的AI模型訓練方法，其特征在于，所述基于所述第一預測值和第二預測值對所述第一預設模型進行訓練，以獲取目標AI模型，包括：

獲取所述游戲角色執行策略獲取對應的獎勵值；

通過預設損失函數基于所述獎勵值對所述第一價值評估值和所述第二價值評估值進行收斂，并調整所述第一預設模型的各個參數從而獲取目標AI模型。

7.根據權利要求5或6所述的AI模型訓練方法，其特征在于，所述第一預測值和所述第二預測值通過預測函數計算獲取，所述預測函數為：

或

其中，V_t表示預測值；R表示環境反饋值，過關時R為1，未過關時R為-1；S_l表示通關關卡后剩余步數；S_a表示當前關卡的總步數；T_l,1表示未過關時第一個目標剩余的數量；T_a,1表示第一個目標的總數量；T_l,2表示未過關時第二個目標剩余的數量；T_a,2表示未過關時第二個目標的總數量。