[發(fā)明專利]一種基于向量標準化和知識蒸餾的圖像分類方法

有效

• 申請?zhí)枺?/td>: 202011091695.0
• 申請日: 2020-10-13
• 公開（公告）號: CN112116030B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設計）人: 郭嘉;蔡登;何曉飛;陳銘浩;胡堯;朱琛
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產(chǎn)權代理有限公司 33224
• 代理人: 彭劍;胡紅娟

本發(fā)明公開了一種基于向量標準化和知識蒸餾的圖像分類方法，包括以下步驟：(1)構建并訓練一個教師模型，所述教師模型采用深度卷積神經(jīng)網(wǎng)絡；(2)構建一個比教師模型小的學生模型，所述學生模型也采用深度卷積神經(jīng)網(wǎng)絡；(3)使用蒸餾損失函數(shù)對學生模型進行訓練，在訓練過程中，對學生模型和教師模型輸出的概率編碼向量進行標準化；(4)將待分類的圖像輸入訓練好的學生模型，進行分類預測。利用本發(fā)明，能夠在不引入額外參數(shù)及計算開銷的情況下，提升學生網(wǎng)絡的性能，提高圖像分類精度。

技術領域

本發(fā)明屬于圖像分類技術領域，尤其是涉及一種基于向量標準化和知識蒸餾的圖像分類方法。

背景技術

隨著人工智能時代的到來，深度學習技術已被廣泛應用于多種圖像分類領域：如人臉識別，自動駕駛，故障檢測等。

模型壓縮是當前深度學習模型部署最為熱門的問題之一。它要求模型在參數(shù)變少的情況下，仍保持一定的精度。目前，最熱門的方法包括參數(shù)量化，模型剪枝，知識蒸餾等。其中，知識蒸餾的方法效果較好，得到了廣泛的重視。

在知識蒸餾中，一個較大的模型(教師)將知識傳遞到一個較小的模型(學生)上。在一些數(shù)據(jù)集上，知識蒸餾能夠大大提升學生網(wǎng)絡的性能。而無人駕駛汽車在部署視覺應用時，對模型響應延時，以及計算資源具有較高的要求。

視覺模型主要由深度卷積網(wǎng)絡組成。圖像矩陣從網(wǎng)絡的輸入端輸入后，在輸出端輸出目標分屬各個類別的概率值。其中，最大的概率值所對應的類別，被視為模型的預測類別。而在那些錯誤的類別上，模型仍會賦予不同大小的概率。這些概率被認為編碼了類別間相似度的信息。如，一只貓除了在貓的類別上賦予最大的概率值之外，還會對一些相似的類別(如狗)賦予比相差較大的類別(如汽車)更大的概率值。知識蒸餾，就是利用這樣的相似度信息，利用一個較大的模型，將這種知識傳遞到一個較小的模型上。

然而，知識蒸餾面臨被稱為“容量差距”的問題。這描述了蒸餾過程中出現(xiàn)的一個問題，如果教師網(wǎng)絡變得過大，學生網(wǎng)絡的性能反而會下降。這導致在進行蒸餾時，存在需要手動選擇合適大小的教師網(wǎng)絡問題。另外，這也導致無法簡單的通過使用較大的教師網(wǎng)絡來增強學生網(wǎng)絡的性能。

發(fā)明內容

本發(fā)明提供了一種基于向量標準化和知識蒸餾的圖像分類方法，能夠在不引入額外參數(shù)及計算開銷的情況下，提升學生網(wǎng)絡的性能，提高圖像分類精度。

一種基于向量標準化和知識蒸餾的圖像分類方法，包括以下步驟：

(1)構建并訓練一個教師模型，所述教師模型采用深度卷積神經(jīng)網(wǎng)絡；

(2)構建一個比教師模型小的學生模型，所述學生模型也采用深度卷積神經(jīng)網(wǎng)絡；

(3)使用蒸餾損失函數(shù)對學生模型進行訓練，在訓練過程中，對學生模型和教師模型輸出的概率編碼向量進行標準化；

(4)學生模型訓練完畢，將待分類的圖像輸入訓練好的學生模型，進行分類預測。

本發(fā)明的方法，首先訓練一個較大的深度卷積網(wǎng)絡作為教師網(wǎng)絡，然后在教師網(wǎng)絡的監(jiān)督信息下，訓練一個較小的學生網(wǎng)絡。該方法能夠幫助一個較小的深度卷積網(wǎng)絡保留教師網(wǎng)絡的部分性能。同時，在概率值向量后加入了標準化方法，以解決容量差距問題。

步驟(1)的具體過程為：

(1-1)選擇訓練數(shù)據(jù)，對訓練數(shù)據(jù)標準化以及做數(shù)據(jù)增強，隨后送到深度卷積神經(jīng)網(wǎng)絡的輸入層；

(1-2)將輸入層得到的圖像信號，送入多層卷積網(wǎng)絡中；

(1-3)在網(wǎng)絡的最高層，得到對類別信息的概率編碼值；

(1-4)使用交叉熵損失函數(shù)對深度卷積神經(jīng)網(wǎng)絡進行訓練；

(1-5)重復上述步驟，直到深度卷積神經(jīng)網(wǎng)絡收斂，得到訓練好的教師模型。