[發明專利]用于樣本分類的神經網絡模型的訓練方法和裝置

在審

• 申請號: 201910822201.2
• 申請日: 2019-09-02
• 公開（公告）號: CN110689048A
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 馬良莊
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 11309 北京億騰知識產權代理事務所(普通合伙)
• 代理人: 孫欣欣;周良玉

本說明書實施例提供一種用于樣本分類的神經網絡模型的訓練方法和裝置。方法包括：獲取訓練樣本集中的訓練樣本，訓練樣本具有樣本標識和樣本類別標簽；將訓練樣本輸入特征提取模型，得到特征表示向量；將特征表示向量輸入鑒別器模型，得到識別標識；根據識別標識和樣本標識確定第一預測損失，以最小化第一預測損失為目標，對鑒別器模型和特征提取模型進行第一訓練；將特征表示向量輸入分類器模型，得到識別類別；根據識別類別和樣本類別標簽確定第二預測損失，并根據與第一預測損失負相關和與第二預測損失正相關確定第三預測損失，以最小化第三預測損失為目標，對分類器模型和特征提取模型進行第二訓練。能夠提高模型的泛化性。

技術領域

本說明書一個或多個實施例涉及計算機領域，尤其涉及用于樣本分類的神經網絡模型的訓練方法和裝置。

背景技術

在深度學習里面，通常會設置較大的神經網絡模型，去擬合訓練數據，以使該神經網絡模型用于樣本分類。但是，由于參數太多，神經網絡模型復雜度過高，絕大多數情況下，神經網絡模型都會過擬合，訓練得到的神經網絡模型泛化性并不會最好。

因此，希望能有改進的方案，能夠在對神經網絡模型的訓練過程中，防止神經網絡模型過擬合，提高訓練得到的神經網絡模型的泛化性。

發明內容

本說明書一個或多個實施例描述了一種用于樣本分類的神經網絡模型的訓練方法和裝置，能夠在對神經網絡模型的訓練過程中，防止神經網絡模型過擬合，提高訓練得到的神經網絡模型的泛化性。

第一方面，提供了一種用于樣本分類的神經網絡模型的訓練方法，方法包括：

獲取訓練樣本集中的訓練樣本，所述訓練樣本具有樣本標識，以及預先標注的樣本類別標簽；

將所述訓練樣本輸入待訓練的特征提取模型，通過所述特征提取模型輸出所述訓練樣本的特征表示向量；

將所述訓練樣本的特征表示向量輸入待訓練的鑒別器模型，通過所述鑒別器模型輸出所述訓練樣本的識別標識；

根據所述訓練樣本的識別標識和所述訓練樣本的樣本標識確定第一預測損失，以最小化所述第一預測損失為目標，對所述鑒別器模型和所述特征提取模型進行第一訓練；

將所述訓練樣本的特征表示向量輸入待訓練的分類器模型，通過所述分類器模型輸出所述訓練樣本的識別類別；

根據所述訓練樣本的識別類別和所述訓練樣本的樣本類別標簽確定第二預測損失，并根據與所述第一預測損失負相關和與所述第二預測損失正相關確定第三預測損失，以最小化所述第三預測損失為目標，對所述分類器模型和所述特征提取模型進行第二訓練。

在一種可能的實施方式中，所述第一訓練和所述第二訓練交替重復進行。

進一步地，當交替重復的次數達到第一預設閾值時，終止訓練。

進一步地，每執行完一輪所述第一訓練和所述第二訓練，計算預設指標的指標值；當所述指標值大于第二預設閾值時，終止訓練。

在一種可能的實施方式中，所述根據與所述第一預測損失負相關和與所述第二預測損失正相關確定第三預測損失，包括：

將所述第一預測損失和所述第二預測損失進行加權求和得到所述第三預測損失；其中，所述第一預測損失對應的權重因子為負數，所述第二預測損失對應的權重因子為正數。

在一種可能的實施方式中，所述方法還包括：

將待識別樣本輸入訓練后的所述特征提取模型，通過所述特征提取模型輸出所述待識別樣本的特征表示向量；

將所述待識別樣本的特征表示向量輸入訓練后的所述分類器模型，通過所述分類器模型輸出所述待識別樣本的識別類別。