[發明專利]基于類別級軟目標監督的細粒度圖像分類模型訓練方法

在審

• 申請號: 202310352190.2
• 申請日: 2023-04-04
• 公開（公告）號: CN116563602A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 梅建萍;褚鑫凱
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/74;G06V10/40;G06N3/098
• 代理公司: 杭州賽科專利代理事務所(普通合伙) 33230
• 代理人: 余華康

本發明涉及基于類別級軟目標監督的細粒度圖像分類模型訓練方法，以有標簽的數據預訓練一目標模型；以目標模型的參數初始化EMA模型，根據EMA模型中全連接層的參數計算一相似度矩陣，基于相似度矩陣獲得類別級軟標簽，與圖像進行關聯；輸入圖像，基于目標模型和EMA模型構建模型訓練的總損失更新目標模型；以新的目標模型更新EMA模型，并用新EMA模型計算出新的類別級軟標簽；重復并最小化總損失，實現細粒度圖像分類模型的訓練。本發明能在面對細粒度圖像分類的問題上取得良好的效果，既保留了類別之間的關系，也不需要額外的空間儲存預訓練模型，不需要復雜的聚類過程，也不需要額外的預訓練模型來獲取軟標簽；準確率高。

技術領域

本發明涉及計算；推算或計數的技術領域，特別涉及一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法。

背景技術

圖像分類是計算機視覺分類領域的一個經典問題，其目標是將不同的圖像劃分到不同的類別。近年來，深度神經網絡在視覺分類領域取得了非常不錯的應用效果，已經成為解決計算機視覺領域眾多機器學習任務的首選建模工具，尤其在監督模式下訓練的大規模神經網絡在圖像分類任務中取得了明顯優于其他傳統模型的泛化能力。在過去幾年中，深度神經網絡推動圖像分類取得了很大的進步，但是常見的圖像分類集中的類別的粒度仍然較粗，比如，狗這個類別下，還可以細分為拉布拉多犬、金毛尋回犬、邊境牧羊犬等細分類別，這就導致了在一些網絡中對于這些圖像的分類效果不佳。粗粒度的分類已經越來越無法滿足實際生產生活的需要，而細粒度圖像的分類就是針對這類問題繼續的研究。

近年來，細粒度圖像分類無論在工業界還是學術界都有著廣泛的研究需求與應用場景。對比普通的圖像分類問題，細粒度分類面對的圖像數據具有更加相似的外觀特性。由于分類的粒度很小，細粒度圖像分類非常困難，在某些類別上甚至專家都難以區分。主要原因有三點：1.子類之間差異細微：只在某個局部上有細微差異；2.子類內部差異巨大；3.受視角、背景、遮擋等因素影響較大。這些困難令細粒度圖像分類成為一項極具挑戰的研究任務。在實際生活中，識別不同的子類別又存在著巨大的應用需求。例如，在生態保護中，有效識別不同種類的生物是進行生態研究的重要前提，如果能夠借助于計算機視覺的技術實現低成本的細粒度圖像識別，那么無論對于學術界還是工業界而言，都有著非常重要的意義。

針對以上問題需要對類別之間的關系進行建模，用于模型訓練，而由于硬標簽的one-hot的特性，不適用于細粒度圖像之間的區分，因此提出了軟標簽的概念。硬標簽和軟標簽的不同在于，硬標簽對于分類結果不是1就是0，而軟標簽對于分類結果是根據每個類別對應的概率給出一個不那么確定的標簽，這就讓類別之間有了更多的關聯和信息，可以讓模型學習到更多的知識。Label?Smoothing是一種獲得軟標簽的方法，但是有效性不夠，由于其只是單純的添加隨機噪聲，也無法反映標簽之間的關系，因此對模型的提升有限，甚至有欠擬合的風險。另一種是通過額外的預訓練模型來獲取軟標簽，但是會需要額外的空間來儲存預訓練模型，這就造成了空間的浪費，所以其有效性也不足。

發明內容

本發明解決了現有技術中存在的問題，提供了一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法。

本發明所采用的技術方案是，一種基于類別級軟目標監督的細粒度圖像分類模型訓練方法，所述方法以有標簽的數據預訓練一目標模型；以目標模型的參數初始化EMA模型，根據EMA模型中全連接層的參數計算一相似度矩陣，基于相似度矩陣獲得類別級軟標簽t_Clu，與圖像進行關聯；

輸入圖像，基于目標模型和EMA模型構建模型訓練的總損失更新目標模型；以新的目標模型更新EMA模型，并用新EMA模型計算出新的類別級軟標簽；重復并最小化總損失，實現細粒度圖像分類模型的訓練。