[發明專利]神經網絡訓練方法和裝置、存儲介質及電子裝置

有效

• 申請號: 201711037964.3
• 申請日: 2017-10-27
• 公開（公告）號: CN109726808B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 楊夏;張力柯
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 趙囡囡

1.一種神經網絡訓練方法，其特征在于，包括：

獲取使用訓練賬號運行人機交互應用后得到的離線樣本，并根據所述離線樣本的運行結果從所述離線樣本中獲取不少于兩個離線樣本集合，其中，所述不少于兩個離線樣本集合的集合等級不同，所述集合等級指示對應的離線樣本集合中的離線樣本的運行結果所在的目標閾值范圍；

使用所述不少于兩個離線樣本集合分別離線訓練初始神經網絡，得到與每個離線樣本集合對應的不少于兩個對象神經網絡，其中，所述不少于兩個對象神經網絡各自具有不同等級的交互水平，在所述人機交互應用中，所述對象神經網絡的處理能力高于對應的所述初始神經網絡的處理能力；

將所述不少于兩個對象神經網絡接入所述人機交互應用的在線運行環境進行在線訓練，得到不少于兩個目標神經網絡，其中，所述不少于兩個目標對象神經網絡各自具有不同等級的交互水平，所述不少于兩個目標神經網絡用于控制操控對象與用戶賬號控制的操控對象實現人機對抗過程。

2.根據權利要求1所述的方法，其特征在于，所述獲取使用訓練賬號運行所述人機交互應用后得到的離線樣本包括：

在使用所述訓練賬號運行所述人機交互應用的過程中，采集所述訓練賬號在每個狀態幀內的交互參數的參數值，其中，所述交互參數包括：交互狀態、交互動作、交互反饋激勵；

根據所述交互參數的參數值獲取所述離線樣本。

3.根據權利要求2所述的方法，其特征在于，所述根據所述交互參數的參數值獲取所述離線樣本包括：

根據第i個狀態幀內的所述交互參數的參數值，及第i+1個狀態幀內的所述交互參數的參數值，組合確定所述離線樣本，其中，i大于等于1，小于等于N，N為運行一次所述人機交互應用的總幀數量。

4.根據權利要求2所述的方法，其特征在于，所述采集所述訓練賬號在每個狀態幀內的交互參數的參數值包括以下至少之一：

采集每個所述狀態幀內的所述交互狀態的狀態標識，得到使用所述訓練賬號運行所述人機交互應用的過程中的狀態幀序列；

采集每個所述狀態幀內的所述交互動作的動作標識，得到使用所述訓練賬號運行所述人機交互應用的過程中的動作幀序列；

獲取與所述人機交互應用的應用類型匹配的交互反饋激勵參數；計算所述交互反饋激勵參數的參數值，得到使用所述訓練賬號運行所述人機交互應用的過程中的反饋激勵幀序列。

5.根據權利要求4所述的方法，其特征在于，所述采集每個所述狀態幀內的所述交互狀態的狀態標識包括：

截屏每個所述狀態幀內的所述交互狀態的狀態畫面；

根據所述狀態畫面確定所述交互狀態的狀態標識。

6.根據權利要求4所述的方法，其特征在于，所述采集每個所述狀態幀內的所述交互動作的動作標識包括：

采集觸屏操作；獲取在所述人機交互應用中與所述觸屏操作對應的所述交互動作的所述動作標識；或者

采集外部設備的輸入事件，其中，所述輸入事件包括以下至少之一：鍵盤輸入事件、體感輸入事件、傳感設備輸入事件；獲取在所述人機交互應用中與所述輸入事件對應的所述交互動作的所述動作標識。

7.根據權利要求1所述的方法，其特征在于，所述使用所述不少于兩個離線樣本集合分別離線訓練初始神經網絡，得到與每個離線樣本集合對應的不少于兩個對象神經網絡包括：

在預定配置條件指示獲取多個等級的對象神經網絡的情況下，分別使用每個等級的離線樣本集合訓練得到對應等級的對象神經網絡，其中，多個等級的離線樣本集合中的離線樣本在所述人機交互應用中的運行結果分別處在不同的目標閾值范圍內，其中，所述多個等級的對象神經網絡至少包括第一等級對象網絡，第二等級對象網絡，其中，所述第一等級對象網絡的處理能力高于所述第二等級對象網絡的處理能力。