[發明專利]一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法、設備及存儲介質

有效

• 申請號: 202110868117.1
• 申請日: 2021-07-30
• 公開（公告）號: CN113591978B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 郭帥帥;俞辰;史高鑫
• 申請（專利權）人: 山東大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/08;G06Q50/20
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 楊樹云

1.一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法，其特征在于，具體步驟如下：

A、訓練過程

(1)構建虛擬教師網絡，將數據集的圖像經過虛擬教師網絡處理后，得到虛擬教師網絡的輸出值

(2)將數據集的圖像經過學生網絡處理后，得到圖片屬于每個類別的概率輸出值，再將此概率輸出值經過硬標簽式、軟標簽式兩種不同處理，由學生網絡輸出識別圖片樣本屬于某一類別的概率p(k)，和由軟化后的學生網絡輸出的屬于某一類別的概率p_τ(k)；

(3)先將學生網絡硬標簽預測輸出p(k)與真實分布q(k)加權，數據集中關于每個圖片都有自帶的類別標簽，將這個標簽分布記為真實分布q(k)；

再將虛擬教師網絡的輸出與學生網絡的軟標簽預測輸出p_τ(k)進行加權，是指虛擬教師網絡的輸出p^c(k)在溫度τ軟化后的輸出；

最后，將這兩個加權的部分用權重參數α進行組合加權，由置信懲罰正則化的有關規則定義損失函數L(θ)，如式(I)所示：

H(q(k)，p(k))為q(k)與p(k)間的交叉熵；為KL散度；

B、圖像分類

將待分類的圖像輸入虛擬教師網絡、訓練好的學生網絡，輸出圖像分類結果。

2.根據權利要求1所述的一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法，其特征在于，步驟(1)中，構建虛擬教師網絡，定義函數如式(II)所示：

式(I)中，p^c(k)來表示虛擬教師網絡的預測分布；K是數據集中圖片的類別總數，c是正確標簽，a是正確分類的概率，當預測的類別k是正確標簽時，令輸出正確分類的概率a≥0.9，當預測的是錯誤標簽時，讓各個錯誤標簽平分余下的概率1-a。

3.根據權利要求1所述的一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法，其特征在于，步驟(2)中，運用MobileNetV2網絡作為學生網絡，數據集中的圖像經過學生網絡處理后，得到圖片屬于每個類別的概率輸出值，再將此概率輸出值經過硬標簽式(III)、軟標簽式(VI)兩種不同處理，式(III)、式(VI)如下所示：

式(III)、式(VI)中，p(k)是學生網絡輸出的識別圖片樣本屬于第k類的概率，p_τ(k)是軟化后學生網絡輸出的屬于第k類的概率，z_i是學生網絡輸出的logits，其中i表示第i類，同樣的z_k表示第k類的logits，K為圖片的類別總數，exp()是指數運算；τ為溫度參數。

4.根據權利要求1所述的一種基于置信懲罰正則化的自我知識蒸餾的圖像分類方法，其特征在于，步驟(3)中，片(q(k)，p(k))為q(k)與p(k)間的交叉熵，具體計算公式如式(V)所示：

為KL散度，度量p_τ(k)和之間的差異，具體計算公式如式(VI)所示：

5.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1-4任一所述基于置信懲罰正則化的自我知識蒸餾的圖像分類方法的步驟。

6.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-4任一所述基于置信懲罰正則化的自我知識蒸餾的圖像分類方法的步驟。