[發明專利]基于類別級軟目標監督的細粒度圖像分類模型訓練方法

在審

• 申請號: 202310352190.2
• 申請日: 2023-04-04
• 公開（公告）號: CN116563602A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 梅建萍;褚鑫凱
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/74;G06V10/40;G06N3/098
• 代理公司: 杭州賽科專利代理事務所(普通合伙) 33230
• 代理人: 余華康

1.一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法，其特征在于：所述方法以有標簽的數據預訓練一目標模型；以目標模型的參數初始化EMA模型，根據EMA模型中全連接層的參數計算一相似度矩陣，基于相似度矩陣獲得類別級軟標簽t_Cla，與圖像進行關聯；

輸入圖像，基于目標模型和EMA模型構建模型訓練的總損失更新目標模型；以新的目標模型更新EMA模型，并用新EMA模型計算出新的類別級軟標簽；重復并最小化總損失，實現細粒度圖像分類模型的訓練。

2.根據權利要求1所述的一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法，其特征在于：所述目標函數為，

g_c＝f(x_c；φ)

其中，f表示目標模型，C表示類別總量，c對應每個類別，y_c是樣本x_c的標簽，p_c是經過歸一化處理后模型預測的到第c個類別的概率，T是溫度系數，0T5，g_c是樣本x_c經過目標模型f后得到的歸一化之前的輸出，φ是目標模型的參數。

3.根據權利要求1所述的一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法，其特征在于：所述目標模型包括特征提取器和分類器，目標模型的特征提取器和分類器在每一輪基于總損失的梯度反傳進行更新；所述EMA模型包括特征提取器和分類器，EMA模型的特征提取器和分類器初始化為目標模型中的特征提取器和分類器，訓練過程中EMA模型的特征提取器和分類器基于當前目標模型通過指數滑動平均進行更新。

4.根據權利要求1所述的一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法，其特征在于：EMA模型的分類器的全連接層V_K×C包括每個類別的權重，K為維度，得到一個相似度矩陣S，

S＝V^TV，對S的每一列歸一化處理，得到類別級軟標簽t_cla。

5.根據權利要求1所述的一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法，其特征在于：輸入圖像，基于目標模型和EMA模型構建模型訓練的總損失L包括：

基于目標模型預測的概率分布，計算其與樣本真實硬標簽之間的交叉熵損失L_Hard；

基于目標模型預測的概率分布，計算其與類別級軟標簽之間的KL散度L_Cla；

基于目標模型預測的概率分布，計算其與EMA模型輸出概率分布之間的KL散度L_EMA。

6.根據權利要求5所述的一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法，其特征在于：L＝L_Hard+λ₁L_Cla+λ₂L_EMA，其中，λ₁和λ₂為對應損失的權重系數，λ₁0，λ₂0。

7.根據權利要求5所述的一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法，其特征在于：KL散度L_Cla滿足，

L_Cla＝KL(t_Cla,p)

其中，KL散度為KL(t,p)，C表示類別總量，c對應每個類別，t_Cla為類級別的軟標簽，p是經過歸一化處理后模型預測的概率分布。

8.根據權利要求5所述的一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法，其特征在于：KL散度L_eMA滿足，

L_eMA＝KL(t_eMA,p)

其中，KL()為KL散度，t_EMA為樣本經過EMA模型得到的輸出，p是樣本經過目標模型得到的概率分布。