[發明專利]基于中間層特征提取增強的知識蒸餾實現圖像分類的方法

有效

• 申請號: 202110887562.2
• 申請日: 2021-08-03
• 公開（公告）號: CN113610146B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 陳澤仁;徐琪;張天魁;鐘煒強
• 申請（專利權）人: 江西鑫鉑瑞科技有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/75;G06N5/02;G06N3/0464;G06N3/084
• 代理公司: 溫州名創知識產權代理有限公司 33258
• 代理人: 程嘉煒

1.一種基于中間層特征提取增強的知識蒸餾實現圖像分類的方法，其特征在于，所述方法包括以下步驟：

獲取待分類圖像；

將所述待分類圖像導入預先訓練好的教師-學生網絡中，得到相應的分類結果；其中，所述預先訓練好的教師-學生網絡是基于歷史圖像分別輸入教師模型和學生模型中，并采用預設的跨層非局部模塊分別提取學生模型和教師模型的多尺度像素間關系，且待計算出教師模型和學生模型間的多尺度像素間關系蒸餾損失之后，將蒸餾損失加入學生模型的損失函數中，進一步根據損失函數反向傳播更新學生模型參數直至學生模型收斂，將收斂后的學生模型作為優化模型輸出進行訓練得到的；

所述跨層非局部模塊采用如下公式進行計算：

R＝(X^q,X^r1,…,X^rn)＝X^q+∑Z^ri

其中，X^q為查詢層特征；X^ri為響應層i特征；Z^ri為響應層i與查詢層的像素間關系，表示為為卷積運算；θ(·),和g(·)均為可學習嵌入式函數，使用1×1卷積實現；θ(X^q)，gi(X^ri)為可學習嵌入函數對輸入的特征圖做預處理，計算單個像素的表示；f(·,·為二維函數，使用點積實現；為計算對應位置像素間的相關程度；

所述跨層非局部模塊提取學生模型或教師模型的多尺度像素間關系的具體步驟如下：

將歷史圖像作為學生模型或教師模型的輸入，并輸入相應模型的第一層；

若第一層是選定的響應層，將第一層的輸出特征作為響應層輸入其后的跨層非局部模塊，并將跨層非局部模塊的輸出特征輸入其后的第二層；或若第一層是選定的查詢層，將第一層的輸出特征作為查詢層輸入其后的跨層非局部模塊；

用第二層更新第一層；

若第一層是最后一層，將最后一層的輸出特征作為預測結果并輸出。

2.如權利要求1所述的基于中間層特征提取增強的知識蒸餾實現圖像分類的方法，其特征在于，計算教師模型和學生模型間的多尺度像素間關系蒸餾損失時，采用L2范式損失的形式如下：

L_蒸餾＝L₂(R^T,M(R^S))

其中，M(R^S)是可學習的匹配函數，使教師模型和學生模型的多尺度關系特征圖在維度和尺寸上匹配；R^S首先通過一個卷積層c(·)，然后再通過一個上采樣函數h(·)進行匹配，即M(R^S)＝h(c(R^S))。

3.如權利要求1所述的基于中間層特征提取增強的知識蒸餾實現圖像分類的方法，其特征在于，將蒸餾損失加入到學生模型的損失函數中時，采用如下公式進行運算：

L_總＝L_分類+αL_蒸餾

其中，L_總為總損失函數；L_分類為分類損失函數；L_蒸餾為蒸餾損失函數；α為蒸餾損失函數在總損失函數中占的比例系數。

4.如權利要求3所述的基于中間層特征提取增強的知識蒸餾實現圖像分類的方法，其特征在于，所述分類損失函數采用交叉熵形式計算，具體公式如下：

其中，y為圖像的真實分類標簽，為學生模型輸出的預測結果。