[發明專利]用于樣本分類的神經網絡模型的訓練方法和裝置

在審

• 申請號: 201910822201.2
• 申請日: 2019-09-02
• 公開（公告）號: CN110689048A
• 公開（公告）日: 2020-01-14
• 發明（設計）人: 馬良莊
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 11309 北京億騰知識產權代理事務所(普通合伙)
• 代理人: 孫欣欣;周良玉

1.一種用于樣本分類的神經網絡模型的訓練方法，所述方法包括：

獲取訓練樣本集中的訓練樣本，所述訓練樣本具有樣本標識，以及預先標注的樣本類別標簽；

將所述訓練樣本輸入待訓練的特征提取模型，通過所述特征提取模型輸出所述訓練樣本的特征表示向量；

將所述訓練樣本的特征表示向量輸入待訓練的鑒別器模型，通過所述鑒別器模型輸出所述訓練樣本的識別標識；

根據所述訓練樣本的識別標識和所述訓練樣本的樣本標識確定第一預測損失，以最小化所述第一預測損失為目標，對所述鑒別器模型和所述特征提取模型進行第一訓練；

將所述訓練樣本的特征表示向量輸入待訓練的分類器模型，通過所述分類器模型輸出所述訓練樣本的識別類別；

根據所述訓練樣本的識別類別和所述訓練樣本的樣本類別標簽確定第二預測損失，并根據與所述第一預測損失負相關和與所述第二預測損失正相關確定第三預測損失，以最小化所述第三預測損失為目標，對所述分類器模型和所述特征提取模型進行第二訓練。

2.如權利要求1所述的方法，其中，所述第一訓練和所述第二訓練交替重復進行。

3.如權利要求2所述的方法，其中，當交替重復的次數達到第一預設閾值時，終止訓練。

4.如權利要求2所述的方法，其中，所述方法還包括：

每執行完一輪所述第一訓練和所述第二訓練，計算預設指標的指標值；

當所述指標值大于第二預設閾值時，終止訓練。

5.如權利要求1所述的方法，其中，所述根據與所述第一預測損失負相關和與所述第二預測損失正相關確定第三預測損失，包括：

將所述第一預測損失和所述第二預測損失進行加權求和得到所述第三預測損失；其中，所述第一預測損失對應的權重因子為負數，所述第二預測損失對應的權重因子為正數。

6.如權利要求1所述的方法，其中，所述方法還包括：

將待識別樣本輸入訓練后的所述特征提取模型，通過所述特征提取模型輸出所述待識別樣本的特征表示向量；

將所述待識別樣本的特征表示向量輸入訓練后的所述分類器模型，通過所述分類器模型輸出所述待識別樣本的識別類別。

7.如權利要求1所述的方法，其中，所述訓練樣本對應一個用戶，所述樣本標識為所述一個用戶的標識，所述樣本類別標簽對應包括多個用戶的用戶人群。

8.一種用于樣本分類的神經網絡模型的訓練裝置，所述裝置包括：

獲取單元，用于獲取訓練樣本集中的訓練樣本，所述訓練樣本具有樣本標識，以及預先標注的樣本類別標簽；

特征提取單元，用于將所述獲取單元獲取的所述訓練樣本輸入待訓練的特征提取模型，通過所述特征提取模型輸出所述訓練樣本的特征表示向量；

鑒別單元，用于將所述特征提取單元得到的所述訓練樣本的特征表示向量輸入待訓練的鑒別器模型，通過所述鑒別器模型輸出所述訓練樣本的識別標識；

第一訓練單元，用于根據所述鑒別單元得到的所述訓練樣本的識別標識和所述獲取單元獲取的所述訓練樣本的樣本標識確定第一預測損失，以最小化所述第一預測損失為目標，對所述鑒別器模型和所述特征提取模型進行第一訓練；

分類單元，用于將所述特征提取單元得到的所述訓練樣本的特征表示向量輸入待訓練的分類器模型，通過所述分類器模型輸出所述訓練樣本的識別類別；

第二訓練單元，用于根據所述分類單元得到的所述訓練樣本的識別類別和所述獲取單元獲取的所述訓練樣本的樣本類別標簽確定第二預測損失，并根據與所述第一預測損失負相關和與所述第二預測損失正相關確定第三預測損失，以最小化所述第三預測損失為目標，對所述分類器模型和所述特征提取模型進行第二訓練。

9.如權利要求8所述的裝置，其中，所述第一訓練單元進行所述第一訓練和所述第二訓練單元進行所述第二訓練交替重復進行。

10.如權利要求9所述的裝置，其中，當交替重復的次數達到第一預設閾值時，終止訓練。