[發明專利]神經網絡模型的訓練方法及裝置

有效

• 申請號: 202010143596.6
• 申請日: 2020-03-04
• 公開（公告）號: CN111368997B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 蔣亮;溫祖杰;張家興
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06F17/18
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 張明;周良玉

本說明書實施例提供一種神經網絡模型的訓練方法及裝置，在訓練方法中，基于在上一周期訓練后的神經網絡模型，分別確定在當前周期待訓練的第一模型，以及用于輔助訓練第一模型的第二模型。從樣本集合中選取當前標定樣本，并基于其執行以下步驟：將當前標定樣本輸入第一模型，得到第一概率分布。基于第一概率分布，確定當前標定樣本的預測標簽。將當前標定樣本輸入第二模型，得到第二概率分布。基于標定標簽和預測標簽，確定第一預測損失。基于第一概率分布和第二概率分布，確定第二預測損失。結合第一預測損失和第二預測損失，調整第一模型的參數。在全部樣本選取完之后，將最后一次調整參數后的第一模型作為在當前周期訓練后的神經網絡模型。

技術領域

本說明書一個或多個實施例涉及計算機技術領域，尤其涉及一種神經網絡模型的訓練方法及裝置。

背景技術

隨著人工智能的普遍流行，神經網絡模型越來越受到關注。對于神經網絡模型，通常需要先對其進行訓練，之后，利用訓練后的神經網絡模型進行業務處理，如，進行基于圖像識別的業務處理、基于用戶分類的業務處理、基于音頻識別的業務處理以及基于文本分析的業務處理等等。

在傳統的神經網絡模型的訓練過程中，通常會先對樣本集合中的樣本進行劃分，如劃分為若干份。之后分批次讀取各份樣本，并且在每次讀取到一份樣本之后，基于梯度下降方法，訓練神經網絡模型。然而，由于樣本集合中的樣本的質量存在差異性，因此，當質量較差的樣本排列在后時，可能會出現模型的預測準確率不穩定的情況，也即會出現訓練震蕩的問題，這就使得訓練得到的模型準確性較差。

因此，需要提供一種更可靠地神經網絡模型的訓練方法。

發明內容

本說明書一個或多個實施例描述了一種神經網絡模型的訓練方法及裝置，可以使訓練的神經網絡模型更準確。

第一方面，提供了一種神經網絡模型的訓練方法，包括：

基于在上一周期訓練后的神經網絡模型，分別確定在當前周期待訓練的第一模型，以及用于輔助訓練所述第一模型的第二模型；

從樣本集合中選取一批標定樣本作為當前標定樣本，基于當前標定樣本以及所述第二模型，對所述第一模型進行訓練，該訓練步驟包括：

將當前標定樣本輸入所述第一模型，通過所述第一模型的輸出得到當前標定樣本對應的第一概率分布；

基于所述第一概率分布，確定對應于當前標定樣本的預測標簽；

將當前標定樣本輸入所述第二模型，通過所述第二模型的輸出得到當前標定樣本對應的第二概率分布；

基于當前標定樣本的標定標簽和所述預測標簽，確定第一預測損失；

基于所述第一概率分布和所述第二概率分布，確定第二預測損失；

以最小化所述第一預測損失和所述第二預測損失為目標，調整所述第一模型的模型參數；

在基于所述樣本集合中的各樣本執行所述訓練步驟之后，將最后一次調整模型參數后的所述第一模型作為在當前周期訓練后的神經網絡模型。

第二方面，提供了一種神經網絡模型的訓練裝置，包括：

確定單元，用于基于在上一周期訓練后的神經網絡模型，分別確定在當前周期待訓練的第一模型，以及用于輔助訓練所述第一模型的第二模型；

訓練單元，用于從樣本集合中選取一批標定樣本作為當前標定樣本，基于當前標定樣本以及所述第二模型，對所述第一模型進行訓練；

所述訓練單元具體包括：

輸入子單元，用于將當前標定樣本輸入所述第一模型，通過所述第一模型的輸出得到當前標定樣本對應的第一概率分布；