[發明專利]一種基于特征融合的細粒度圖像分類方法

有效

• 申請號: 202110179265.2
• 申請日: 2021-02-09
• 公開（公告）號: CN112861970B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 初妍;王麗娜;莫世奇;李思純;李松;時潔;胡博;苗曉晨;趙佳昕
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/80;G06V10/44;G06V10/42;G06V10/25;G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于特征融合的細粒度圖像分類方法，其特征在于，包括以下步驟：

步驟1：獲取待分類的圖像數據集，取部分圖像數據構造訓練集，其余數據組成測試集；對訓練集中的圖像進行標注，獲取各圖像對應的類別標簽；

步驟2：利用VGG-19卷積神經網絡提取訓練集中每張圖像的特征圖，在最后的conv5-3的特征圖上通過滑動窗口操作，得到訓練集中每張圖像的特征向量；

步驟3：將訓練集中每張圖像的特征向量輸入到回歸層和分類層，得到訓練集中每張圖像的區域候選檢測框集；計算區域候選檢測框集中每一個檢測框的置信度分數f_i，選擇置信度最高的檢測框對圖像進行裁剪，得到裁剪后的圖像訓練集；

步驟4：將裁剪后的圖像訓練集輸入至SC-B-CNNs模型中進行訓練；

所述的SC-B-CNNs模型包括第一ResNet-50網絡、第二ResNet-50網絡和softmax分類器；所述的第一ResNet-50網絡為在ImageNet上預訓練的去掉最后全連接層的ResNet-50網絡，并且在其conv2和conv3卷積塊之間添加有注意力模塊SCA；所述的第二ResNet-50網絡未執行預訓練，并且在其conv4和conv5卷積塊之間添加有注意力模塊SCA；

步驟4.1：將裁剪后的圖像訓練集分別輸入至第一ResNet-50網絡和第二ResNet-50網絡中，第一ResNet-50網絡輸出每張圖像的第一帶權特征圖f_A，第二ResNet-50網絡輸出每張圖像的第二帶權特征圖f_B；

所述注意力模塊SCA用于提取輸入特征圖G的帶權分布的特征圖F_sc，具體步驟為：

步驟4.1.1：對于輸入至注意力模塊SCA的特征圖G，通過1×1卷積生成特征圖F；

步驟4.1.2：使用全局平均池化對特征圖F進行降維，通過具有參數W_fc的全連接層對其分配權重，然后經過卷積操作將w×h×1的特征圖按照通道方向壓縮成一個通道，采用sigmoid激活函數生成空間注意力圖A_s；

其中，G∈R^w×h×c，w為特征圖G的長度，h為特征圖G的寬度，w×h表示特征圖G的二維空間大小；c表示通道數量；f^7×7表示卷積核的大小；σ()表示sigmoid激活函數；

步驟4.1.3：以逐元素點乘的方法將空間注意力圖A_s與特征圖F進行特征融合得到空間注意力特征圖F_s：

步驟4.1.4：將空間注意力特征圖F_s按空間維度w×h壓縮，生成空間注意力特征圖F_s的全局壓縮特征向量z_c；

步驟4.1.5：通過兩層全連接層得到空間注意力特征圖F_s中每個通道的權重值，使用sigmoid激活，得到帶權分布的特征圖F_sc；

A＝σ(W_s2×tanh(W_s1×z_c))

其中，σ()表示sigmoid激活函數，tanh()表示tanh激活函數；A為權重分布的特征向量；W_s1為第一全連接層的權重；W_s2為第二全連接層的權重；u_c表示第c個通道特征圖；表示逐元素點乘；

步驟4.2：將裁剪后的圖像訓練集中每張圖像的第一帶權特征圖f_A和第二帶權特征圖f_B通過雙線性池化操作，得到裁剪后的圖像訓練集中每張圖像的雙線性特征向量；

步驟4.3：將裁剪后的圖像訓練集中每張圖像的雙線性特征向量輸入到softmax分類器中，得到圖像所屬的類別；

步驟5：將測試集輸入至訓練好的SC-B-CNNs模型中，得到待分類的圖像數據集的分類結果。