[發明專利]圖像分類方法、裝置以及計算機可讀存儲介質

在審

• 申請號: 202111642391.3
• 申請日: 2021-12-29
• 公開（公告）號: CN114298224A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 姚俊榮
• 申請（專利權）人: 云從科技集團股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/764;G06V10/774
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 屠曉旭;陳敏

1.一種圖像分類方法，其特征在于，所述方法包括：

針對每個教師模型，將當前教師模型的特征提取網絡劃分成至少一個第一特征提取層，將學生模型的特征提取網絡劃分成至少一個第二特征提取層且所述第一特征提取層與所述第二特征提取層一一對應；其中，所述教師模型是訓練好的圖像分類模型；

獲取當前教師模型中每個第一特征提取層提取到的圖像樣本的教師圖像特征以及獲取學生模型中與每個第一特征提取層各自對應的第二特征提取層提取到的圖像樣本的學生圖像特征；

采用知識蒸餾方法，使所有教師模型同時指導所述學生模型使用每個教師模型各自對應的教師圖像特征與學生圖像特征進行圖像分類訓練；

采用訓練好的學生模型進行圖像分類。

2.根據權利要求1所述的圖像分類方法，其特征在于，“采用知識蒸餾方法，使所有教師模型同時指導所述學生模型使用每個教師模型各自對應的教師圖像特征與學生圖像特征進行圖像分類訓練”的步驟具體包括：

采用知識蒸餾方法并按照下式所示的知識蒸餾函數L_total進行圖像分類訓練：

L_total＝L_CE+L_teacher

其中，L_CE表示所述學生模型對所述圖像樣本進行圖像分類訓練時確定的損失函數，所述L_teacher表示同時利用所有教師模型對所述學生模型使用每個教師模型各自對應的教師圖像特征與學生圖像特征進行訓練指導學習時確定的知識蒸餾損失函數。

3.根據權利要求2所述的圖像分類方法，其特征在于，所述知識蒸餾損失函數L_teacher如下式所示：

其中，所述w_t表示第t個教師模型的第一蒸餾權重，所述L_layer,t表示利用第t個教師模型對所述學生模型使用第t個教師模型對應的教師圖像特征與學生圖像特征進行訓練指導學習時確定的多層次蒸餾損失函數；

L_layer,t＝∑w_tiL_ti，所述w_ti表示第t個教師模型中第i個第一特征提取層的第二蒸餾權重，所述L_ti表示利用第t個教師模型對所述學生模型使用第t個教師模型中第i個第一特征提取層提取到的教師圖像特征以及學生模型中與第i個第一特征提取層對應的第二特征提取層提取到的學生圖像特征進行訓練指導學習時確定的第i個第一特征提取層的蒸餾損失函數。

4.根據權利要求3所述的圖像分類方法，其特征在于，所述第i個第一特征提取層的蒸餾損失函數L_ti如下式所示：

其中，所述T_tij表示第t個教師模型中第i個第一特征提取層提取到的教師圖像特征中的第j個特征值，S_j表示學生模型中與第i個第一特征提取層對應的第二特征提取層提取到的學生圖像特征中的第j個特征值。

5.根據權利要求3所述的圖像分類方法，其特征在于，所述第二蒸餾權重w_ti的計算公式如下式所示：

w_ti＝Dα_ti

其中，所述D表示根據圖像分類訓練時采用的圖像樣本的Batch值確定的超參數，α_ti表示預設的第t個教師模型中第i個第一特征提取層的權重超參數。