[發明專利]一種帶有并行卷積塊的多層特征融合細粒度圖像分類方法

有效

• 申請號: 202011000605.2
• 申請日: 2020-09-22
• 公開（公告）號: CN112183602B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 何凱;馮旭;馬希濤;趙巖
• 申請（專利權）人: 天津大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種帶有并行卷積塊的多層特征融合細粒度圖像分類方法，所述方法包括：對訓練集進行隨機裁剪、水平翻轉增強，使用權重遷移學習防止過擬合；在ResNet34模型的最后一個層級上通過并行卷積塊代替原有卷積塊，增強網絡的顯著性特征提取能力；使用改進后的ResNet34模型作為特征提取器，將最后一層級的三個輸出結果進行雙線性矩陣乘法后送入全連接層和softmax進行分類訓練，對訓練集上每個batch_size得到的損失函數進行回傳，使用隨機梯度下降作為網絡優化器來更新網絡參數。本發明提高了細粒度圖像的分類準確率。

技術領域

本發明涉及圖像分類任務中的細粒度圖像分類領域，尤其涉及一種帶有并行卷積塊的多層特征融合細粒度圖像分類方法。

背景技術

細粒度圖像分類是對某一類別下的圖像子類進行精確劃分。細粒度圖像分類以其“類間差異小，類內差異大”等特點，一直是計算機視覺和模式識別領域的研究難點，具有重要的研究價值。

鑒于傳統方法對細粒度圖像分類準確率低，模型泛化能力差；基于強監督方法需要標注框等人工信息，難以應用到實際生產中。弱監督方法為該領域的主流方法，可以分為：基于雙線性池化等網絡結構的調整來增強層間特征信息的交互能力；以及基于注意力機制的分類方法用于提取顯著性區域；還有基于局部特征定位的方法來捕捉具有判別性的局部特征信息。

細粒度圖像分類的難點在于：訓練樣本的分類數目較多，但每個類別下的樣本數目太少，容易導致過擬合；網絡模型復雜，參數量較多，對計算機要求較高；同一類別下的樣本受光照，姿態等影響差異較大，使得網絡難以學習到判別性特征。目前，細粒度圖像分類的問題主要體現在三個方面：

1)如何增強網絡層間的信息交互；

2)如何使網絡精確地提取顯著性區域特征；

3)如何有效防止過擬合現象。

發明內容

本發明提出了一種帶有并行卷積塊的多層特征融合細粒度圖像分類方法，本發明提高了細粒度圖像的分類準確率，詳見下文描述：

一種帶有并行卷積塊的多層特征融合細粒度圖像分類方法，所述方法包括：

對訓練集進行隨機裁剪、水平翻轉增強，使用權重遷移學習防止過擬合；

在ResNet34模型的最后一個層級上通過并行卷積塊代替原有卷積塊，增強網絡的顯著性特征提取能力；

使用改進后的ResNet34模型作為特征提取器，將最后一層級的三個輸出結果進行雙線性矩陣乘法后送入全連接層和softmax進行分類訓練，對訓練集上每個batch_size得到的損失函數進行回傳，使用隨機梯度下降作為網絡優化器來更新網絡參數。

其中，所述并行卷積塊用于對中間層的判別性特征進行提取，具體為：

對輸入的特征矩陣使用不同大小的卷積核，增強輸出矩陣的特征表達能力；

將步長為2，1×1大小卷積核的殘差結構改為3×3大小卷積核，防止部分特征信息的丟失；

將原始3×3大小的卷積核改為1×3和3×1卷積核的串聯模式，減少計算量。

將激活函數ReLU改為LeakyReLU，可以有效防止梯度消失。

進一步地，所述將最后一層級的三個輸出結果進行雙線性矩陣乘法后送入全連接層具體為：

對并行卷積塊得到三個輸出特征矩陣，兩兩雙線性操作得到三個特征融合的結果，將三個結果求和，送入全連接層中。

其中，所述對并行卷積塊得到三個輸出特征矩陣，兩兩雙線性操作得到三個特征融合的結果具體為：