[發明專利]基于類間相似度的分布式標簽的細粒度圖像識別算法

有效

• 申請號: 202110386579.X
• 申請日: 2021-04-12
• 公開（公告）號: CN113159066B
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 唐振民;孫澤人;姚亞洲;杜鵬楨
• 申請（專利權）人: 南京理工大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了基于類間相似度的分布式標簽的細粒度圖像識別算法，包括以下步驟：(1)使用骨干網絡提取輸入圖像的特征表示；(2)利用中心損失模塊通過特征表示計算中心損失并更新類別中心；(3)分類損失模塊利用特征表示和最終標簽分布計算分類損失(例如交叉熵損失)，其中的最終標簽分布通過計算獨熱標簽分布和由類別中心生成的分布式標簽分布的加權和得到；(4)由中心損失和分類損失加權求和得到最終的目標損失函數，以此優化整個模型。本發明通過降低模型預測的確信度有效地緩解了過擬合的問題，能夠精確地學習細粒度數據的辨別性特征，精確高效地區分不同細粒度類別的數據，可廣泛應用于視覺分類和多媒體領域。

技術領域

本發明涉及細粒度圖像識別方法，特別涉及一種基于類間相似度的分布式標簽的細粒度圖像識別算法。

背景技術

圖像識別，旨在對給定圖像進行類別判定劃分，是計算機視覺領域一個核心的研究課題。一般的圖像識別任務(例如區分飛機、艦船、狗、貓動物等，區分不同的手寫數字，區分各種不同類的對象，等等)旨在對不同大類的圖像進行分類識別。細粒度圖像識別，作為圖像識別的一個重要而極具挑戰性的子類，一直是一個活躍的計算機視覺研究領域。細粒度識別任務的目標是識別出同一個大類下的不同子類(比如區分不同類別的鳥、飛機、汽車等)。在現實生活中，細粒度圖像識別有著非常廣泛的應用場景，例如生物多樣性觀測、生態研究、氣候變化評估、遙感圖像識別、智能零售、智能交通、智能監控等等。因此一直受到工業節和學術界的廣泛關注。

早期在深度卷積神經網絡還未體現出在計算機視覺方面的強大學習的能力的時期，研究者們嘗試在傳統粗粒度圖像識別的算法上進行研究和改進。近年來，隨著算力的不斷提升，深度學習技術逐漸成為學習特征表示的強大方法，在計算機視覺領域的各方面均取得了矚目的成果與巨大的突破，這其中也包括細粒度識別。

細粒度圖像識別可以區分同一大類下不同子類的細微差別，例如區分北極燕鷗和里海燕鷗。但是，適用于一般圖像識別(粗粒度圖像識別)任務的網絡模型在細粒度識別任務中無法取得理想的效果，這主要是因為以下兩個因素：(1)圖像類間差異小：由于細粒度類別隸屬于同一個大類(例如Acura RL Sedan 2012和Buick Verano Sedan 2012均屬于汽車這一父類)，因此不同類別的圖像往往具有相似的特征，這導致細粒度類別之間具有較高的相似性；(2)圖像類內差異大：由于圖像采集過程中光照、角度、遮擋、乃至采集設備的參數性能等方面的不同，同類別的圖像往往視覺差異較大，尤其是細粒度類間相似度高這一情況的存在，使得同類別內圖像之間的較大差異性在細粒度識別任務中變得尤為明顯。

發明內容

發明目的：本發明提供一種引入細粒度類別之間的相似度信息，通過降低模型預測的確信度以有效地緩解網絡過擬合問題，促使網絡學到了更強力的細粒度特征表示的基于類間相似度的分布式標簽的細粒度圖像識別算法。

技術方案：基于類間相似度的分布式標簽的細粒度圖像識別算法，包括以下步驟：

(1)使用骨干網絡提取輸入圖像的特征表示X，將提取到的圖像特征表示輸入到兩個并行的模塊；所述模塊為中心損失模塊及分類損失模塊；

(2)中心損失模塊通過特征表示X計算中心損失并更新類別中心C；

(3)計算獨熱標簽分布和由類別中心C生成的分布式標簽分布的加權和得到最終標簽分布；

(4)分類損失模塊利用特征表示X和最終標簽分布計算分類交叉熵損失；

(5)由中心損失和分類損失加權求和得到最終用于優化整個模型的目標損失函數。

優選的，步驟(1)中，所述使用骨干網絡提取輸入圖像特征為預先在ImageNet數據集上進行預訓練的ResNet50網絡。

優選的，步驟(2)中，所述中心損失模塊通過特征表示X計算中心損失并更新類別中心C具體過程為：