[發明專利]一種基于向量標準化和知識蒸餾的圖像分類方法

有效

• 申請號: 202011091695.0
• 申請日: 2020-10-13
• 公開（公告）號: CN112116030B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 郭嘉;蔡登;何曉飛;陳銘浩;胡堯;朱琛
• 申請（專利權）人: 浙江大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 彭劍;胡紅娟

1.一種基于向量標準化和知識蒸餾的圖像分類方法，其特征在于，包括以下步驟：

(1)構建并訓練一個教師模型，所述教師模型采用深度卷積神經網絡；

(2)構建一個比教師模型小的學生模型，所述學生模型采用深度卷積神經網絡；

(3)使用蒸餾損失函數對學生模型進行訓練，在訓練過程中，對學生模型和教師模型輸出的概率編碼向量進行標準化，讓不同圖像對應的概率編碼向量擁有統一的模長，統一的模長為教師網絡類別編碼向量模長的平均值；

所述的蒸餾損失函數包括兩部分，第一部分為學生網絡與教師網絡的KL散度，第二部分為交叉熵損失函數，具體為：

定義f_i(x)為第i個樣本的模型輸出向量，為標準化后的向量乘一常數，則第一部分的損失函數為

其中，為

代表了教師網絡的概率分布輸出，代表了學生網絡的概率分布輸出，τ為超參數；

第二部分的損失函數為：

其中，p_i為

總的損失函數為L_kl與L_ce的加權和，即：

L＝αL_kl+(1-α)L_ce

其中，參數α為0到1之間的超參數；

(4)學生模型訓練完畢，將待分類的圖像輸入訓練好的學生模型，進行分類預測。

2.根據權利要求1所述的基于向量標準化和知識蒸餾的圖像分類方法，其特征在于，步驟(1)的具體過程為：

(1-1)選擇訓練數據，對訓練數據標準化以及做數據增強，隨后送到深度卷積神經網絡的輸入層；

(1-2)將輸入層得到的圖像信號，送入多層卷積網絡中；

(1-3)在網絡的最高層，得到對類別信息的概率編碼值；

(1-4)使用交叉熵損失函數對深度卷積神經網絡進行訓練；

(1-5)重復上述步驟，直到深度卷積神經網絡收斂，得到訓練好的教師模型。

3.根據權利要求2所述的基于向量標準化和知識蒸餾的圖像分類方法，其特征在于，步驟(1-4)中，所述的交叉熵損失函數為：

式中，L_ce為交叉熵損失函數，y_i為標簽，為模型的輸出概率分布。