[發明專利]網絡模型訓練方法、裝置、計算機設備及存儲介質

有效

• 申請號: 201911058644.5
• 申請日: 2019-11-01
• 公開（公告）號: CN110837858B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 黃盈;周大軍
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06N3/08
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 邢惠童

本申請實施例公開了一種網絡模型訓練方法、裝置、計算機設備及存儲介質，屬于計算機技術領域。方法包括：根據第一樣本數據對特征提取子模型進行訓練；基于已訓練完成的特征提取子模型，對當前的圖像進行特征提取，得到圖像的第一圖像特征；基于操作確定子模型，對第一圖像特征進行處理，得到待執行的第一操作；根據執行第一操作后得到的操作結果，對操作確定子模型進行訓練。通過將網絡模型拆分訓練，減少了每次訓練需要調整的模型參數，降低了訓練難度。且基于樣本數據對特征提取子模型進行訓練，無需在終端上執行操作，避免了訓練速度受到終端執行操作的速度的影響，加快了訓練速度。

技術領域

本申請涉及計算機技術領域，特別涉及一種網絡模型訓練方法、裝置、計算機設備及存儲介質。

背景技術

隨著計算機技術的發展，終端能夠模擬人類智能做出反應。例如，終端可以基于深度學習的神經網絡模型，對終端顯示的當前界面進行分析，確定當前界面下將要執行的操作，在當前界面上執行確定出的操作。為了保證終端操作的準確性，如何訓練網絡模型成為亟需解決的問題。

目前，采用深度強化學習的方式對網絡模型進行訓練，但是深度強化學習會受到終端執行操作的速度的影響，從而降低了模型訓練的速度。并且該網絡模型中的模型參數也較多，訓練難度較大，會增加訓練的次數，從而導致訓練的速度較慢，訓練時間較長。

發明內容

本申請實施例提供了一種網絡模型訓練方法、裝置、計算機設備及存儲介質，解決了相關技術存在的網絡模型的訓練耗時較久的問題。所述技術方案如下：

一方面，提供了一種網絡模型訓練方法，所述網絡模型包括特征提取子模型和操作確定子模型，所述方法包括：

根據第一樣本數據對所述特征提取子模型進行訓練，所述第一樣本數據包括圖像數據；

基于已訓練完成的所述特征提取子模型，對當前的圖像進行特征提取，得到所述圖像的第一圖像特征；

基于所述操作確定子模型，對所述第一圖像特征進行處理，得到待執行的第一操作；

根據執行所述第一操作后得到的操作結果，對所述操作確定子模型進行訓練。

另一方面，提供了一種網絡模型訓練裝置，所述網絡模型包括特征提取子模型和操作確定子模型，所述裝置包括：

第一訓練模塊，用于根據第一樣本數據對所述特征提取子模型進行訓練，所述第一樣本數據包括圖像數據；

特征提取模塊，用于基于已訓練完成的所述特征提取子模型，對當前的圖像進行特征提取，得到所述圖像的第一圖像特征；

處理模塊，用于基于所述操作確定子模型，對所述第一圖像特征進行處理，得到待執行的第一操作；

第二訓練模塊，用于根據執行所述第一操作后得到的操作結果，對所述操作確定子模型進行訓練。

在一種可能實現方式中，所述第二訓練模塊，包括：

狀態獲取單元，用于執行所述第一操作后，獲取當前的狀態數據，所述狀態數據指示執行所述第一操作后得到的操作結果；

第一收益獲取單元，用于基于所述狀態數據和收益函數，獲取所述狀態數據對應的第一收益數值；

目標收益獲取單元，用于基于目標狀態數據和所述收益函數，獲取目標收益數值，所述目標狀態數據指示對所述圖像執行操作后得到的目標操作結果；

訓練單元，用于根據所述目標收益數值和所述第一收益數值之間的差異，對所述操作確定子模型進行訓練。

在一種可能實現方式中，所述訓練單元，用于根據所述第一收益數值、所述目標收益數值和損失函數，確定所述損失函數的損失值；