[發明專利]一種深度學習的細粒度圖像分類方法及裝置

在審

• 申請號: 202011358906.2
• 申請日: 2020-11-27
• 公開（公告）號: CN112487227A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 張天魁;蔡昌利;翁哲威;杜忠田;王彥君;高旭巍;張宇峰
• 申請（專利權）人: 北京郵電大學;中國電信集團系統集成有限責任公司
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06N3/04;G06N3/08
• 代理公司: 北京卓特專利代理事務所(普通合伙) 11572
• 代理人: 陳變花

本申請公開了一種深度學習的細粒度圖像分類方法，該方法包括：重復如下步驟：通過類間采樣器從數據集中隨機采樣不同類的兩張圖像，生成圖像對，將其輸入到骨干網絡進行訓練；通過類內采樣器從數據集中隨機采樣同類的兩張圖像，生成圖像對，將其輸入到骨干網絡進行訓練；從數據集中隨機采樣一張圖像，將其生成骨干網絡進行訓練和分類預測；分析如上所述的分類預測結果，采樣增強模塊指導類間采樣器和類內采樣器生成圖像對；本申請提供的一種基于三階段深度學習的細粒度圖像分類方法及系統，通過各個子模塊，混合增強模塊得以更好的解決細粒度圖像分類任務中類內差異大類間差異小的問題。

技術領域

本發明涉及計算機視覺技術領域，特別地涉及一種深度學習的細粒度圖像分類方法及裝置。

背景技術

在計算機視覺領域中，細粒度圖像分類一直是一個研究的熱點和難點，因為細粒度圖像分類的主要目的是區分一個大類下的多個子類別，而這些子類別圖像中的對象往往具有較小的類間特征差異，并且在類內的對象姿勢、背景和拍攝角度等方面存在很大的區別。早期的細粒度圖像識別方法往往需要針對訓練數據做大量的人工標注，如人工標記的關鍵區域框，人工標注的對象邊界框等。獲得這些額外的人工信息需要大量的人力物力，花費大量的時間和金錢，且網絡的復雜度較大，訓練時間較長。隨著相關技術的發展，如Resnet等能力強大的骨干網絡模型和ImageNet等包含大量數據的預訓練數據集的出現使圖像分類技術更上一層樓，細粒度圖像分類的研究重點也逐漸轉向只使用圖片標簽信息的弱監督情況。并且由于收集細粒度標簽通常需要專家級的領域知識，人工標注需要大量的時間和費用，只使用圖像標簽的弱監督細粒度圖像分類逐漸成為當前研究的主要方向。研究人員提出了許多如雙線性CNN等的骨干網絡模型，只需圖片和相應的標簽輸入便可進行訓練得到很好的分類性能。

目前細粒度圖像識別的研究主要集中在針對網絡結構做優化，沒有關注訓練方式的方向。當前的細粒度圖像分類方法基本不在訓練方式上做創新，訓練網絡時只是在數據集中隨機選取一張圖像輸入網絡進行訓練，這種訓練方式沒有突出圖像的類別，對于一般的機器學習問題這種訓練方式不會對性能有較大的影響，但是細粒度圖像分類問題存在類內差異大類間差異小的特點，會導致相近的類別混淆在一起，難以區分，這種簡單的訓練方式就會影響最終的分類性能，且只輸入一張圖像使得網絡無法通過對比突出共有特征和區分特征。

發明內容

為了解決上述所提及的細粒度圖像分類中類內差異大類間差異小以及隨機抽取圖像進行簡單的混合疊加不能夠很好的解決相近類別混淆的問題，本發明提出了一種混合增強的細粒度圖像分類方法以及裝置。

該方法包括：

重復如下步驟：

類間圖像訓練：通過類間采樣器從數據集中隨機采樣不同類的兩張圖像，生成圖像對，將其輸入到骨干網絡進行訓練，獲得第一預測結果；

類內圖像訓練：通過類內采樣器從數據集中隨機采樣同類的兩張圖像，生成圖像對，將其輸入到骨干網絡進行訓練，獲得第二預測結果；

單一圖像訓練：從數據集中隨機采樣一張圖像，將其生成骨干網絡進行訓練和分類預測，獲得第三預測結果；

分析和指導：分析第三預測結果，根據分析結果指導類間采樣器和類內采樣器生成圖像對。

如上所述的深度學習的細粒度圖像分類方法，其中，優選的是，在將類間圖像訓練和類內圖像訓練中的圖像對輸入到骨干網絡進行訓練之前，還包括將圖像對輸入到混合模塊，同時混合兩張圖像及其標簽，得到混合增強樣本，進而將該混合增強樣本輸入骨干網絡。

如上所述的深度學習的細粒度圖像分類方法，其中，優選的是，類間圖像對的混合增強樣本通過如下公式獲得：

，