[發明專利]一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法、設備及存儲介質

有效

• 申請號: 202110868117.1
• 申請日: 2021-07-30
• 公開（公告）號: CN113591978B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 郭帥帥;俞辰;史高鑫
• 申請（專利權）人: 山東大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/08;G06Q50/20
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 楊樹云

本發明涉及一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法、設備及存儲介質，用于提升系統整體的效率和精度，本發明通過將置信懲罰正則化的相關規則應用于自我知識蒸餾，通過訓練學習，使簡單神經網絡在圖像分類識別領域能夠達到與復雜神經網絡相當甚至更甚的精度。并且省去了訓練復雜神經網絡的必要性，節省計算資源提高訓練效率。

技術領域

本發明屬于人工智能領域，涉及一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法、設備及存儲介質，可用于壓縮和加速神經網絡，應用于圖像分類領域。

背景技術

深度神經網絡在解決自然語言處理、語音識別和計算機視覺等許多具有挑戰性的人工智能任務方面取得了極大的成功。但深度神經網絡的計算復雜度和高內存需求嚴重阻礙了它在資源有限的平臺上的使用，例如智能手機和嵌入式設備等邊緣設備。

近些年，基于卷積神經網絡的表示方式被廣泛應用于圖像分類領域，但現有的圖像應用卷積神經網絡進行分類時，不僅需要大量計算，而且會占有大量內存，則當面對受限的邊緣計算場景或對實時性要求較高時，這種對計算和內存有著高要求的方法將很難適用。知識蒸餾作為一種典型的模型壓縮和加速技術，為深度神經網絡在資源有限設備上的部署提供了可能性[Hinton G,Vinyals O,Dean J.Distilling the knowledge in aneural network[J].arXiv preprint arXiv:1503.02531,2015.]。隨著技術的發展，從各個方面對于原本知識蒸餾方法的改進算法不斷提出，其中，自我知識蒸餾是一個研究熱點，各種相關方法被不斷提出。Yuan L等開創性的將標簽平滑正則化與知識蒸餾結合，提出了教師自由的自我知識蒸餾框架[Yuan L,Tay F E H,Li G,et al.Revisiting knowledgedistillation via label smoothing regularization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020:3903-3911.]。將正則化方法應用于自我知識蒸餾，可免去訓練復雜教師網絡的必要性，則在無法獲得可靠的教師網絡或計算資源有限時，此種方法具有很好的效果與意義。現有的關于正則化方法應用于自我知識蒸餾的研究較少，在圖像分類領域的識別精度等方面還有提升的空間。

發明內容

針對現有技術的不足，本發明提供了一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法；

本發明用于解決傳統教師—學生模式的知識蒸餾方法所要求的復雜、學習能力強的教師模型，以及強大計算資源的問題，該方法適用于圖像分類領域。

本發明利用幾種典型的神經網絡，將置信懲罰正則化規則與自我知識蒸餾框架融合，通過訓練學習讓簡單的神經網絡達到與復雜神經網絡相當的圖像分類精度。本發明不僅能夠在節省計算資源的基礎上達到可觀的分類精度，還能夠省去訓練復雜神經網絡的必要性，大大提高訓練效率。

本發明還提供了一種計算機設備及存儲介質。

術語解釋：

1、logits：一個事件發生與該事件不發生的比值的對數；

2、教師網絡：知識蒸餾中，將一個復雜的但是學習能力強的深度神經網絡稱為教師網絡。

3、學生網絡：知識蒸餾中，將一個精簡、復雜度低但學習能力較弱的深度神經網絡稱為學生網絡。本發明中采用的學生網絡為MobileNetV2，為現有網絡架構，網絡結構圖如圖4。

本發明的技術方案為：

一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法，用于提升系統整體的效率和精度，具體步驟如下：

A、訓練過程