[發明專利]一種結合注意力混合裁剪的細粒度圖像識別方法

在審

• 申請號: 202110226004.1
• 申請日: 2021-03-01
• 公開（公告）號: CN112949655A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 劉寧鐘;白瑜穎
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 賀翔

本發明公開了一種結合注意力混合裁剪的細粒度圖像識別方法，進行各類細粒度圖像識別。包括以下步驟：首先，采集各類細粒度圖像數據，并對其進行標注；之后對圖像進行數據增強，與采集的圖片一起形成細粒度圖像數據集；然后將樣本數據送入到結合注意力混合裁剪的細粒度分類網絡中進行訓練，直至網絡收斂獲取權重文件；最后訓練完成的結合注意力混合裁剪的細粒度分類網絡以及權重文件即可用于細粒度圖像識別。本方法可進行細粒度圖像識別，算法簡單清晰，精度高，魯棒性強，可用于商品識別，車型識別等等需要進行細粒度識別的現實場景，具有良好的應用前景。

技術領域

本發明屬于計算機視覺技術領域，特別涉及了一種結合注意力混合裁剪的細粒度圖像識別方法。

背景技術

細粒度圖像識別不同于通用圖像識別，旨在區分同屬某一大類下更為精細的子類，如區分鳥的種類，狗的種類，車的類型等等，在智能安防，智能零售等領域有著重要的應用，其具有類間差距小和類內差距大的特點，識別具有不小的難度；同時細粒度數據集往往種類多，而數據量較少，容易產生訓練時的過擬合。近年來，在傳統圖像分類任務已達到了一個較高的精確度之后，研究人員將自己的目光放在了細粒度圖像識別上。

Part-based R-CNN方法借鑒了目標檢測領域的R-CNN方法，利用部件級別標注信息訓練出一個部件檢測器，進行目標的頭部和軀干的檢測，之后將檢測到的頭部和軀干的特征與圖像整體分別通過卷積神經網絡提取特征，并依據該特征通過SVM分類器得到最終的分類結果。雙線性卷積神經網絡B-CNN率先提出了利用Bilinear Pooling雙線性池化操作融合兩個不同的卷積神經網絡提取到的特征，融合之后的高階特征被證明更適應細粒度分類任務。循環注意力卷積神經網絡RA-CNN，借鑒了目標檢測領域的RPN區域建議網絡思想，在結合注意力機制后提出了APN注意力建議網絡。通過多階段的注意力網絡，逐級的將注意力網絡關注的區域進行裁剪放大，之后送入下一階段注意力網絡，以此來獲得更加細節的特征。

但是，上述算法均存在不足，例如Part-based R-CNN需要對圖像進行部件級別的強監督信息標注，性價比不高；BCNN則計算量較大；而RA-CNN較為復雜，且同樣計算量較大。

發明內容

為了解決上述背景技術提到的技術問題，本發明提出了一種結合注意力混合裁剪的細粒度圖像識別方法，解決細粒度圖像識別問題。

為了實現上述技術目的，本發明的技術方案為：

一種結合注意力混合裁剪的細粒度圖像識別方法，包括以下步驟：

(1)圖像采集過程：采集待識別的細粒度圖像；

(2)數據增強過程：采用數據增強方法來擴大步驟(1)所述圖像數據量，與原本采集得到的圖像一起形成細粒度圖像數據庫；

(3)細粒度分類網絡訓練過程：使用獲得的細粒度圖像數據庫送入細粒度分類網絡進行學習，直到損失函數收斂；

(4)測試圖像檢測過程：利用訓練好的細粒度分類網絡和權重文件來獲取目標圖像中細粒度目標的精確分類。

以上所述步驟中，步驟(1)具體包括以下步驟：對采集到的圖像進行清洗處理，過濾掉模糊，曝光過度，不包含儀表目標，儀表不完整等不滿足要求的照片，之后對余下圖像進行標注；

步驟(3)中所述細粒度分類網絡為結合注意力混合裁剪的細粒度圖像識別網絡，結合了注意力混合裁剪，相較于其他細粒度分類網絡具有更簡單直觀，主干網絡可根據實際任務替換的優點，

步驟(3)具體包括以下步驟：

(31)將細粒度圖像數據送入結合注意力混合裁剪的細粒度網絡中，使用ImageNet預訓練權重作為初始權重，設置學習率為0.002，設置最大迭代輪次為200輪，設置batchsize為32，使用StepLR策略進行學習率衰減，每兩個epoch將學習率衰減為原來的0.9；