[發明專利]基于中間層特征提取增強的知識蒸餾實現圖像分類的方法

有效

• 申請號: 202110887562.2
• 申請日: 2021-08-03
• 公開（公告）號: CN113610146B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 陳澤仁;徐琪;張天魁;鐘煒強
• 申請（專利權）人: 江西鑫鉑瑞科技有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/75;G06N5/02;G06N3/0464;G06N3/084
• 代理公司: 溫州名創知識產權代理有限公司 33258
• 代理人: 程嘉煒

本發明提供一種基于中間層特征提取增強的知識蒸餾實現圖像分類的方法，包括獲取待分類圖像；將待分類圖像導入預先訓練好的教師?學生網絡中，得到相應的分類結果；其中，預先訓練好的教師?學生網絡是基于歷史圖像分別輸入教師模型和學生模型中，并采用預設的跨層非局部模塊分別提取學生模型和教師模型的多尺度像素間關系，且待計算出教師模型和學生模型間的多尺度像素關系蒸餾損失之后，將蒸餾損失加入學生模型的損失函數中，進一步根據損失函數反向傳播更新學生模型參數直至學生模型收斂，將收斂后的學生模型作為優化模型輸出進行訓練得到的。本發明，通過增強知識蒸餾對中間層特征提取能力來改善卷積神經網絡優化效果，用以增強圖像分類效果。

技術領域

本發明涉及人工智能和圖像處理技術領域，尤其涉及一種基于中間層特征提取增強的知識蒸餾實現圖像分類的方法。

背景技術

隨著人工智能領域中深度學習的發展，日益復雜的卷積神經網絡模型在帶來高性能的同時，其巨大的參數量和通道量卻需要消耗大量的存儲資源和計算資源，對模型在移動端和嵌入式設備中應用帶來困難。因此，為了降低神經網絡模型的存儲占用空間和計算開銷，典型的神經網絡優化方法包括參數量化、緊湊模型、剪枝和共享、低秩分解和知識蒸餾等。

知識蒸餾是對深度模型進行優化的一種常用的方法。通過定義合適的蒸餾損失，知識蒸餾往往能夠超越傳統的基于真實標簽的監督訓練方法，實現模型推理準確率的提升。知識蒸餾的訓練框架中通常包含一個或多個教師模型，以及一個學生模型。當學生模型的大小小于教師模型時，其本質上就實現了一個高效的模型壓縮過程。對比其他神經網絡優化方法，知識蒸餾的優點在于無需對模型結構進行復雜的修改，實施過程相對簡單，可推廣性好，模型穩定性好。通過知識蒸餾獲得的輕量化模型具有確定的壓縮比和準確率下限，確保了在特定的場景中或設備上的可部署性。

然而，最早的知識蒸餾方法只考慮對教師模型的分對數輸出，而忽視了模型中間層所包含的豐富的暗知識。因此，近年來出現了一些基于中間層特征的知識蒸餾方法。

現有方法中，基于中間層的知識蒸餾在圖像分類中主要存在以下問題：(1)缺乏對多尺度像素間關系的表征；(2)存在背景噪聲干擾：對于圖像分類任務而言，一張中間層特征圖像中只有少量的關鍵特征決定了圖像的分類結果，剩余的大部分像素對于得出分類結果毫無貢獻，因此對所有像素不加篩選地進行蒸餾，不僅降低了蒸餾學習的效率，甚至由于在蒸餾過程中擬合了大量背景噪聲而有害于學生模型的訓練。

發明內容

本發明實施例所要解決的技術問題在于，提供一種基于中間層特征提取增強的知識蒸餾實現圖像分類的方法，通過增強知識蒸餾對中間層特征提取能力來改善卷積神經網絡優化效果，用以增強圖像分類效果，從而解決了現有技術中所存在的缺乏對多尺度像素間關系的表征以及背景噪聲干擾的問題。

為了解決上述技術問題，本發明實施例提供了一種基于中間層特征提取增強的知識蒸餾實現圖像分類的方法，所述方法包括以下步驟：

獲取待分類圖像；

將所述待分類圖像導入預先訓練好的教師-學生網絡中，得到相應的分類結果；其中，所述預先訓練好的教師-學生網絡是基于歷史圖像分別輸入教師模型和學生模型中，并采用預設的跨層非局部模塊分別提取學生模型和教師模型的多尺度像素間關系，且待計算出教師模型和學生模型間的多尺度像素關系蒸餾損失之后，將蒸餾損失加入學生模型的損失函數中，進一步根據損失函數反向傳播更新學生模型參數直至學生模型收斂，將收斂后的學生模型作為優化模型輸出進行訓練得到的。

其中，所述跨層非局部模塊采用如下公式進行計算：

R＝(X^q,X^r1,…,X^rn)＝X^q+∑z^ri