[發明專利]適用于長尾分布數據集的神經網絡的訓練方法和裝置

在審

• 申請號: 202010851530.2
• 申請日: 2020-08-21
• 公開（公告）號: CN112101544A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 丁貴廣;項劉宇
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種適用于長尾分布數據集的神經網絡的訓練方法，其特征在于，所述神經網絡，包括：特征提取網絡，分類器，類別梯度重加權網絡，其中，所述類別梯度重加權網絡設置在所述特征提取網絡和所述分類器之間，包括以下步驟：

獲取訓練樣本集；

所述特征提取網絡對所述訓練樣本集進行特征提取得到特征，并通過所述分類器對所述特征進行分類，根據分類結果建立損失函數；

根據所述損失函數計算所述特征提取網絡中各個神經元在訓練樣本的梯度；

在神經網絡訓練的反向傳播的過程中，所述類別梯度重加權網絡計算所述訓練樣本的重加權梯度權重，根據所述重加權梯度權重調整屬于不同類別的訓練樣本的梯度。

2.如權利要求1所述的訓練方法，其特征在于，所述獲取訓練樣本集，包括：

按照類別均衡采樣法從訓練數據中獲取所述訓練樣本集。

3.如權利要求1所述的訓練方法，其特征在于，還包括：

獲取前向傳導函數R(x)，其中，所述前向傳導函數R(x)用于指示所述特征提取網絡中各個神經元的傳播方向。

4.如權利要求3所述的訓練方法，其特征在于，所述類別梯度重加權網絡計算所述各個模塊的重加權梯度權重的公式為：

其中N_c，N_max分別為所述訓練樣本集中任一元素x所屬的類別和所述訓練樣本集中數量最多的類別包含的樣本數量，β為超參數，I為單位矩陣。

5.如權利要求1所述的訓練方法，其特征在于，所述根據分類結果建立損失函數，包括：

獲取各個分類結果對應的概率，以及所述訓練樣本集中各個元素對應的標注分類結果；

根據所述各個分類結果對應的概率和所述標注分類結果建立所述損失函數。

6.一種適用于長尾分布數據集的神經網絡的訓練裝置，其特征在于，包括：

獲取模塊，用于獲取訓練樣本集；

特征提取模塊，用于控制所述特征提取網絡對所述訓練樣本集進行特征提取得到特征，并通過所述分類器對所述特征進行分類，根據分類結果建立損失函數；

梯度計算模塊，用于根據所述損失函數計算所述特征提取網絡中各個神經元在訓練樣本的梯度；

梯度重加權模塊，用于在神經網絡訓練的反向傳播的過程中，所述類別梯度重加權網絡計算所述訓練樣本的重加權梯度權重，根據所述重加權梯度權重調整屬于不同類別的訓練樣本的梯度。

7.如權利要求6所述的裝置，其特征在于，所述獲取模塊，具體用于：

按照類別均衡采樣法從訓練數據中獲取所述訓練樣本集。

8.如權利要求6所述的裝置，其特征在于，所述特征提取模塊獲取前向傳導函數R(x)，其中，所述前向傳導函數R(x)用于指示所述特征提取網絡中各個神經元的傳播方向。

9.如權利要求8所述的裝置，其特征在于，所述梯度重加權模塊，具體用于：

計算所述各個模塊的重加權梯度權重的公式為：

其中，N_c，N_max分別為所述訓練樣本集中任一元素x所屬的類別和所述訓練樣本集中數量最多的類別包含的樣本數量，β為超參數，I為單位矩陣。

10.如權利要求6所述的訓練裝置，其特征在于，所述特征提取模塊，具體用于：

獲取各個分類結果對應的概率，以及所述訓練樣本集中各個元素對應的標注分類結果；

根據所述各個分類結果對應的概率和所述標注分類結果建立所述損失函數。