[發明專利]一種基于自監督和自蒸餾的長尾圖像識別方法

有效

• 申請號: 202111026141.7
• 申請日: 2021-09-02
• 公開（公告）號: CN113837238B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 王利民;李天昊;武港山
• 申請（專利權）人: 南京大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/40;G06V10/82;G06N3/045;G06N3/0895
• 代理公司: 南京天翼專利代理有限責任公司 32112
• 代理人: 奚銘

一種基于自監督和自蒸餾的長尾圖像識別方法，構建多階段的訓練框架訓練特征提取網絡，第一階段在長尾分布采樣下利用自監督訓練特征提取網絡，第二階段在保留第一階段特征提取網絡權重的情況下，在類別平衡采樣下微調特征提取網絡的分類器，生成用于自蒸餾的軟標簽，第三階段丟棄之前的權重，在長尾分布采用下利用軟標簽作為監督對特征提取網絡進行自蒸餾聯合訓練，得到的特征提取網絡用于長尾分布下的圖像識別分類。本發明針對長尾數據的特征提取網絡提出一種利用自監督和自蒸餾的多階段訓練方法，利用自監督方法對尾部類別得到充分的表征，同時利用自蒸餾的方法將頭部類別的知識有效遷移到尾部類別中。

技術領域

本發明屬于計算機軟件技術領域，涉及圖像分類技術，具體為一種基于自監督和自蒸餾的長尾圖像識別方法。

背景技術

最近，通過在大規模類別平衡和經過細致挑選標注的數據集，例如ImageNet和Kinetics上訓練強大的神經網絡，深度學習在圖像和視頻領域的視覺識別方面取得了顯著進展。與這些人為平衡的數據集不同，現實世界的數據總是遵循長尾分布，這使得收集平衡數據集更具挑戰性，對于天然樣本數量比較少的類別，收集大量的訓練樣本的成本非常高，幾乎難以實現。然而，由于數據分布極不平衡，直接從長尾數據中學習又會導致性能大幅下降。

緩解長尾訓練數據帶來的性能下降的常見方法是基于類別重新平衡的策略，包括在訓練中重新平衡的訓練數據采樣策略和設計根據類別重新設置權重的損失函數。這些方法可以有效地減少訓練過程中頭部類的支配地位，從而產生更精確的分類決策邊界。然而，由于數據分布被人為扭曲造成失真，過度參數化的深度網絡很容易擬合這個合成分布，因此它們經常面臨過擬合尾部類別的風險。為了解決這些問題，Bingyi等人將表征學習和分類器訓練的任務分離，設計了一種兩階段的訓練方案(Kang?B,Xie?S,Rohrbach?M,etal.Decoupling?representation?and?classifier?for?long-tailed?recognition[J].arXiv?preprint?arXiv:1910.09217,2019.)。這種兩階段訓練方案首先學習原始數據分布下的視覺表示，然后在類別平衡采樣下在凍結的特征上訓練線性分類器。事實證明，這個簡單的兩階段訓練方案能夠處理過擬合問題，并在常見的長尾基準上取得了當時最好的效果。然而，這種兩階段訓練方案未能很好地處理不平衡標簽分布問題，特別是在表征學習階段，使得特征不能很好得表示尾部類別得樣本。

基于上面的分析，本發明的目標是為長尾視覺識別設計一種新的學習范式，希望能夠融合兩種長尾識別方法的優點，即對過擬合問題的魯棒性，并有效地處理不平衡標簽問題。

發明內容

本發明要解決的問題是：自然界中物體是按照長尾的特點進行分布的，直接對長尾分布的數據進行學習會導致模型只關注頭部類別和忽略尾部類別，傳統解決長尾識別的方法存在過擬合尾部樣本，欠擬合頭部樣本的問題，最近提出的方法能夠解決過擬合的問題，但是在特征訓練階段對尾部標簽的建模不夠充分，本發明要解決的問題就是針對長尾分布下的圖像，如何設計出一個既不過擬合尾部類別，又能有效對不平衡標簽進行建模的長尾視覺識別方法。

本發明的技術方案為：一種基于自監督和自蒸餾的長尾圖像識別方法，構建一個多階段的訓練框架用于訓練深度神經網絡中的特征提取網絡和分類器，第一階段在長尾分布采樣下利用自監督任務訓練特征提取網絡，第二階段在保留第一階段特征提取網絡權重的情況下，在類別平衡采樣下微調分類器，生成用于自蒸餾的軟標簽，第三階段重新訓練一個同樣結構的深度神經網絡，在長尾分布采用下利用第二階段的軟標簽作為監督，對深度神經網絡進行自蒸餾聯合訓練，得到的深度神經網絡用于長尾分布下的圖像識別分類。

進一步的，本發明包括以下步驟：

1)準備階段：準備訓練所用的長尾分布的圖片數據集以及深度神經網絡，深度神經網絡由特征提取網絡和分類器組成，隨機初始化深度神經網絡的參數；

2)自監督引導下的特征訓練階段：在長尾分布的數據下，同時利用監督任務和自監督任務對特征提取網絡進行訓練；