[發明專利]一種神經網絡模型訓練方法、裝置、設備和介質

有效

• 申請號: 201811645093.8
• 申請日: 2018-12-29
• 公開（公告）號: CN109740738B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 申俊峰;周大軍;張力柯;荊彥青
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種神經網絡模型訓練方法，其特征在于，針對需要進行強化學習的學習對象，所述方法包括：

獲取所述學習對象根據用戶操作產生的人工樣本集；

獲取針對所述學習對象的神經網絡模型在所述學習對象中自主學習得到機器樣本集；所述針對所述學習對象的神經網絡模型用于對所述學習對象進行強化學習；所述人工樣本集包括通過用戶操作在所述學習對象中實施的動作、在實施動作時所述學習對象的環境參數，以及動作實施后所述學習對象的回饋參數三者之間的對應關系；所述機器樣本集包括通過所述神經網絡模型在所述學習對象中實施的動作、在實施動作時所述學習對象的環境參數，以及動作實施后所述學習對象的回饋參數三者之間的對應關系；

根據所述人工樣本集和所述機器樣本集訓練所述神經網絡模型，具體包括：

分別從所述人工樣本集和所述機器樣本集中選取樣本得到用于訓練所述神經網絡模型的訓練樣本集；所述訓練樣本集中人工樣本的數量和機器樣本的數量之間滿足預設比例；

根據所述訓練樣本集對所述神經網絡模型進行訓練，其中，對所述神經網絡模型的第N次訓練所采用訓練樣本集中所述人工樣本所占比例小于對所述神經網絡模型的第N-1次訓練所采用訓練樣本集中所述人工樣本所占比例。

2.根據權利要求1所述的方法，其特征在于，在所述根據所述訓練樣本集對所述神經網絡模型進行訓練之前，所述方法還包括：

根據所述人工樣本集對所述神經網絡模型進行預訓練；

所述根據所述訓練樣本集對所述神經網絡模型進行訓練，包括：

根據所述訓練樣本集對完成所述預訓練的所述神經網絡模型進行訓練。

3.根據權利要求2所述的方法，其特征在于，當所述人工樣本集被訓練完或者通過所述神經網絡模型完成了所述學習對象的預設進度，確定所述神經網絡模型完成預訓練。

4.根據權利要求1所述的方法，其特征在于，對所述神經網絡模型的第N次訓練所采用訓練樣本集中人工樣本數量和機器樣本數量之間的預設比例是根據對所述神經網絡模型的第N-1次訓練的訓練結果確定的。

5.根據權利要求1所述的方法，其特征在于，所述獲取針對所述學習對象的神經網絡模型在所述學習對象中自主學習得到機器樣本集的步驟包括：

在訓練所述神經網絡模型的過程中，將根據所述神經網絡模型在所述學習對象中自主學習得到的數據作為機器樣本加入所述機器樣本集。

6.根據權利要求1所述方法，其特征在于，針對所述人工樣本集或機器樣本集中任意一個目標樣本，所述目標樣本中包括目標動作實施后所述學習對象的回饋參數，所述目標動作實施后所述學習對象的回饋參數包括實施所述目標動作得到的獎勵參數和/或根據實施所述目標動作在所述學習對象中得到的環境參數。

7.一種神經網絡模型訓練裝置，其特征在于，針對需要進行強化學習的學習對象，所述裝置包括第一獲取單元、第二獲取單元和訓練單元：

所述第一獲取單元，用于獲取所述學習對象根據用戶操作產生的人工樣本集；

所述第二獲取單元，用于獲取針對所述學習對象的神經網絡模型在所述學習對象中自主學習得到機器樣本集；所述針對所述學習對象的神經網絡模型用于對所述學習對象進行強化學習；所述人工樣本集包括通過用戶操作在所述學習對象中實施的動作、在實施動作時所述學習對象的環境參數，以及動作實施后所述學習對象的回饋參數三者之間的對應關系；所述機器樣本集包括通過所述神經網絡模型在所述學習對象中實施的動作、在實施動作時所述學習對象的環境參數，以及動作實施后所述學習對象的回饋參數三者之間的對應關系；

所述訓練單元，用于根據所述人工樣本集和所述機器樣本集訓練所述神經網絡模型，具體包括：

分別從所述人工樣本集和所述機器樣本集中選取樣本得到用于訓練所述神經網絡模型的訓練樣本集；所述訓練樣本集中人工樣本的數量和機器樣本的數量之間滿足預設比例；

根據所述訓練樣本集對所述神經網絡模型進行訓練，其中，對所述神經網絡模型的第N次訓練所采用訓練樣本集中所述人工樣本所占比例小于對所述神經網絡模型的第N-1次訓練所采用訓練樣本集中所述人工樣本所占比例。