[發明專利]一種神經網絡模型訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202110181147.5
• 申請日: 2021-02-09
• 公開（公告）號: CN114943331A
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 熊凱
• 申請（專利權）人: 廣州視源電子科技股份有限公司;廣州視源人工智能創新研究院有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種神經網絡模型訓練方法，其特征在于，包括：

獲取用于訓練神經網絡模型的一批第一訓練樣本和一批第二訓練樣本；

將所述第一訓練樣本輸入待訓練的神經網絡模型中進行處理，得到用于預測所述第一訓練樣本屬于各類別的概率向量；

將所述第二訓練樣本輸入待訓練的神經網絡模型中進行處理，得到由所述第二訓練樣本的特征向量組成的特征矩陣，所述第二訓練樣本的特征向量用于表征所述第二訓練樣本的屬性；

基于所述概率向量計算一批所述第一訓練樣本的分類損失；

基于所述特征矩陣的低秩約束計算一批所述第二訓練樣本的正則化損失；

基于所述分類損失和所述正則化損失更新所述神經網絡模型的參數。

2.根據權利要求1所述的神經網絡模型訓練方法，其特征在于，獲取用于訓練神經網絡模型的一批第一訓練樣本和一批第二訓練樣本，包括：

從數據集中隨機選擇多個訓練樣本作為一批第一訓練樣本；

從數據集中隨機選擇k個類別，且每個類別隨機選擇m個訓練樣本作為一批第二訓練樣本。

3.根據權利要求1所述的神經網絡模型訓練方法，其特征在于，一批第一訓練樣本和一批第二訓練樣本為相同批次的訓練樣本，獲取用于訓練神經網絡模型的一批第一訓練樣本和一批第二訓練樣本，包括：

從數據集中隨機選擇k個類別，且每個類別隨機選擇m個訓練樣本作為一批第一訓練樣本和一批第二訓練樣本。

4.根據權利要求1-3任一所述的神經網絡模型訓練方法，其特征在于，所述神經網絡模型包括主干網絡和頭部網絡，將所述第一訓練樣本輸入待訓練的神經網絡模型中進行處理，得到用于預測所述第一訓練樣本屬于各類別的概率向量，包括：

將所述第一訓練樣本輸入所述主干網絡中進行處理，得到所述第一訓練樣本的特征向量；

將所述第一訓練樣本的特征向量輸入所述頭部網絡中進行處理，得到用于預測所述第一訓練樣本屬于各類別的概率向量。

5.根據權利要求1-3任一所述的神經網絡模型訓練方法，其特征在于，基于所述概率向量計算一批所述第一訓練樣本的分類損失，包括：

基于所述概率向量計算所述第一訓練樣本的交叉熵損失；

計算各所述第一訓練樣本的交叉熵損失之和，得到分類損失。

6.根據權利要求1-3任一所述的神經網絡模型訓練方法，其特征在于，基于所述特征矩陣的低秩約束計算一批所述第二訓練樣本的正則化損失，包括：

計算所述特征矩陣的核范數；

計算所述核范數與所述特征矩陣的秩的差值，所述特征矩陣的秩為一批所述第二訓練樣本中的類別數；

基于所述差值確定一批所述第二訓練樣本的正則化損失。

7.根據權利要求1-3任一所述的神經網絡模型訓練方法，其特征在于，基于所述分類損失和所述正則化損失更新所述神經網絡模型的參數，包括：

計算所述正則化損失與超參數的乘積；

計算所述乘積與所述分類損失的和，得到總損失；

在所述總損失大于損失閾值時，更新所述神經網絡模型的參數，并返回執行獲取用于訓練神經網絡模型的一批第一訓練樣本和一批第二訓練樣本的步驟；

在所述總損失小于或等于損失閾值時，確定所述神經網絡模型訓練完成。