[發明專利]高自由度類不平衡性損失函數的調整方法和存儲介質

在審

• 申請號: 202010548112.6
• 申請日: 2020-06-16
• 公開（公告）號: CN111831956A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 曾軍英;王璠;朱伯遠;朱京明;秦傳波;翟懿奎;甘俊英;李泳韓
• 申請（專利權）人: 五邑大學
• 主分類號: G06F17/10
• 分類號: G06F17/10;G06K9/62
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 孫浩

本發明公開了一種高自由度類不平衡性損失函數的調整方法和存儲介質，包括：采用標準交叉熵損失函數來對訓練網絡進行訓練；根據收斂后的所述訓練網絡計算所述標準交叉熵損失函數的梯度模長；根據所述梯度模長來選擇梯度均衡損失函數或者自適應調整權重損失函數；其中，所述梯度均衡損失函數用于均衡batch數據內落入所述梯度模長中每個區間的數量；所述自適應調整權重損失函數用于使每個所述batch數據自適應調整權重。本發明實施例可以根據數據集的特點自適應選取損失函數，然后在網絡訓練過程中再次自適應調整權重來充分學習圖像特征，尤其是學習難度較大的樣本，能夠在充分利用有限數據資源的前提下有效解決類別不平衡問題。

技術領域

本發明涉及神經網絡技術領域，特別涉及一種高自由度類不平衡性損失函數的調整方法和存儲介質。

背景技術

對于分類任務來說，通常會有不同類別的訓練樣例數目差別很大的情況，若同源樣本較少，異源樣本較多，全部拿來作訓練集會使網絡對異源圖像對敏感，弱化同源圖像對的學習能力。

對于上述情況，現有解決該問題的方法主要有以下幾種：

欠采樣方法：去除部分訓練集中的類別較多的樣本，使正負樣本數目接近，然后再進行網絡訓練或學習。典型的欠采樣方法有EasyEnsemble和BalanceCascade兩種。一般來講，欠采樣方法會丟失部分有用信息。

過采樣方法：通過復制或數據擴充技術增加少數樣本使得正負樣本間數目接近，然后再進行網絡訓練或學習。典型的過采樣方法是SMOTE算法，通過合成少數樣本來達到正負樣本均衡的目的。該方法會造成訓練復雜度增大，也容易造成過擬合問題，不利于學習器的泛化能力。

代價敏感學習法：考慮到不同的錯誤分類造成的結果不同，為了權衡不同結果產生的不同損失，將錯誤分類賦予非均等代價。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提出一種高自由度類不平衡性損失函數的調整方法和存儲介質，能夠在充分利用有限數據資源的前提下有效解決類別不平衡問題。

根據本發明的第一方面實施例的高自由度類不平衡性損失函數的調整方法，包括：

采用標準交叉熵損失函數來對訓練網絡進行訓練；

根據收斂后的所述訓練網絡計算所述標準交叉熵損失函數的梯度模長；

根據所述梯度模長來選擇梯度均衡損失函數或者自適應調整權重損失函數；其中，所述梯度均衡損失函數用于均衡batch數據內落入所述梯度模長中每個區間的數量；所述自適應調整權重損失函數用于使每個所述batch數據自適應調整權重。

根據本發明實施例的高自由度類不平衡性損失函數的調整方法，至少具有如下有益效果：本發明實施例首先計算標準交叉熵損失函數的梯度模長，然后根據梯度模長的特點也就是本身數據集的特點自適應選取不同的損失函數，如選擇梯度均衡損失函數或者自適應調整權重損失函數。因此，本發明實施例可以根據數據集的特點自適應選取損失函數，然后在網絡訓練過程中再次自適應調整權重來充分學習圖像特征，尤其是學習難度較大的樣本，能夠在充分利用有限數據資源的前提下有效解決類別不平衡問題。

根據本發明的一些實施例，所述計算所述標準交叉熵損失函數的梯度模長，包括：

對所述標準交叉熵損失函數進行一階求導，以得到梯度模長。

根據本發明的一些實施例，其特征在于，所述標準交叉熵損失函數為：

其中，所述L_ce為所述標準交叉熵損失函數，所述y為樣本的真實標簽，所述y∈{0,1}，所述為預測樣本為同源樣本對的概率，所述

根據本發明的一些實施例，所述梯度模長通過如下公式得到：