[發明專利]一種模型訓練方法和相關裝置

在審

• 申請號: 202010060009.7
• 申請日: 2020-01-19
• 公開（公告）號: CN111275170A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 曹松軍;馬龍
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G10L15/16
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王兆林

本申請實施例公開了一種模型訓練方法和相關設備，針對目標模型，其中包括m個并行的模型單元，該m個并行的模型單元共用所述目標模型的輸入數據，所述m個并行的模型單元的輸出數據用于構成所述目標模型的輸出數據，所述方法包括：在對所述目標模型進行訓練的過程中，包括多次訓練。在第i次訓練中，對所述目標模型中的n個目標單元進行訓練，n小于m。通過所述多次訓練完成對所述目標模型的訓練，針對完成訓練的所述目標模型中，所述m個并行的模型單元的模型參數是通過所述多次訓練得到的。該方法有助于使得所訓練的目標模型趨近于全局最優點，降低了目標模型的識別錯誤率。

技術領域

本申請涉及人工智能領域，特別是涉及一種模型訓練方法和相關裝置。

背景技術

目前，大多數神經網絡模型均包括多層級網絡結構，以實現相應功能。例如，語音識別聲學模型為包括了12層的網絡結構，其中包括卷積神經網絡(Convolutional NeuralNetwork,CNN)、時延神經網絡(Time Delay Neural Network,TDNN)、長短期記憶模型(Long-Short Term Memory，LSTM)、門控循環單元(Gated recurrent unit，GRU)、循環神經網絡(Recurrent Neural Networks，RNN)等類型的神經網絡模型。

針對這類網絡復雜度較高的神經網絡模型，當前的訓練方式包括：隨機初始化網絡參數，然后，使用訓練樣本來訓練整個神經網絡模型，并根據輸出結果對網絡參數進行優化更新，以完成針對整個神經網絡模型的訓練。

通過該種訓練方式得到的神經網絡模型，容易使得模型收斂于較差的局部最優點，錯誤率較高。

發明內容

為了解決上述技術問題，本申請提供了一種模型訓練方法和相關裝置，有助于使得所訓練的目標模型趨近于全局最優點，降低了目標模型的識別錯誤率。

本申請實施例公開了如下技術方案：

一方面，本申請實施例提供了一種模型訓練方法，目標模型包括m個并行的模型單元，所述m個并行的模型單元共用所述目標模型的輸入數據，所述m個并行的模型單元的輸出數據用于構成所述目標模型的輸出數據，所述方法包括：

在對所述目標模型進行訓練的過程中，包括多次訓練；在第i次訓練中，對所述目標模型中的n個目標單元進行訓練；n小于m；

通過所述多次訓練完成對所述目標模型的訓練，針對完成訓練的所述目標模型中，所述m個并行的模型單元的模型參數是通過所述多次訓練得到的。

另一方面，本申請實施例提供了一種模型訓練裝置，所述裝置包括：

訓練單元，用于在對所述目標模型進行訓練的過程中，包括多次訓練；在第i次訓練中，對所述目標模型中的n個目標單元進行訓練；n小于m；其中，目標模型包括m個并行的模型單元，所述m個并行的模型單元共用所述目標模型的輸入數據，所述m個并行的模型單元的輸出數據用于構成所述目標模型的輸出數據；

確定單元，用于通過所述多次訓練完成對所述目標模型的訓練，針對完成訓練的所述目標模型中，所述m個并行的模型單元的模型參數是通過所述多次訓練得到的。

另一方面，本申請實施例提供了一種設備，所述設備包括處理器以及存儲器：

所述存儲器用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；

所述處理器用于根據所述程序代碼中的指令執行上述所述的模型訓練方法。

另一方面，本申請實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質用于存儲計算機程序，所述計算機程序用于執行上述所述的模型訓練方法。