[發明專利]靈活可分離卷積框架和特征提取方法及其在VGG和ResNet中應用

有效

• 申請號: 202011199528.8
• 申請日: 2020-11-02
• 公開（公告）號: CN112016639B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 謝羅峰;朱楊洋;謝政峰;殷鳴;殷國富
• 申請（專利權）人: 四川大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 成都樂易聯創專利代理有限公司 51269
• 代理人: 趙何婷

本發明公開了一種靈活可分離卷積框架和特征提取方法及其在VGG和ResNet中應用，包括特征圖聚類劃分模塊、第一卷積操作模塊、第二卷積操作模塊、特征圖融合模塊和注意力機制SE模塊；特征圖聚類劃分模塊將特征圖劃分為表征主要信息特征圖和表征補充信息特征圖；第一卷積操作模塊對表征主要信息特征圖做普通卷積操作；第二卷積操作模塊對表征補充信息特征圖做分組卷積操作；特征圖融合模塊先將卷積后特征圖拼接后再與原始特征圖相加并激活；注意力機制SE模塊將提取的通道權重與特征圖相乘生成輸出特征圖。本發明包含普通卷積、分組卷積、殘差分支和注意力機制SE，在保證運算精確度的同時降低了運算的計算量和網絡的參數量，可即插即用于神經網絡卷積層中。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種靈活可分離卷積框架和特征提取方法及其在VGG和ResNet中應用。

背景技術

近幾年，深度卷積神經網絡在圖像識別、目標檢測和語義分割等不同的計算機視覺任務上展現出優異的性能。然而傳統深度卷積神經網絡需要大量的參數和浮點運算量來實現滿意的準確度，模型推理時間較長。在某些真實的應用場景，如移動或嵌入式設備，由于設備有限的內存和計算資源，傳統深度卷積神經網絡在小型設備的實際部署是困難的；同時，對低延遲的實際應用要求難以滿足。盡管未來硬件條件會越來越好，但就目前研究深度卷積神經網絡模型的壓縮理論是至關重要的，這也是深度卷積神經網絡研究方向的熱點問題。

發明內容

本發明提供的目的提供一種靈活可分離卷積框架和特征提取方法及其在VGG和ResNet中應用，該卷積框架包含了普通卷積、分組卷積、殘差分支和注意力機制SE模塊，在保證運算精確度的同時降低了運算的計算量和網絡的參數量，可將其用于神經網絡普通卷積層中，如VGG卷積神經網絡的卷積層和ResNet網絡的殘差塊中。

為實現上述目的，本發明采用如下技術方案：

一種靈活可分離深度學習卷積框架，包括特征圖聚類劃分模塊、第一卷積操作模塊、第二卷積操作模塊、特征圖融合模塊、注意力機制SE模塊、M個輸入通道和N個輸出通道；

所述特征圖聚類劃分模塊用于將M張輸入特征圖劃分為表征主要信息特征圖和表征補充信息特征圖；

所述第一卷積操作模塊用于對所述表征主要信息特征圖做普通卷積和BN操作后輸出主要特征圖；

所述第二卷積操作模塊用于對所述表征補充信息特征圖做分組卷積和BN操作后輸出補充特征圖；

所述特征圖融合模塊用于先將輸出主要特征圖與輸出補充特征圖沿深度方向拼接后與經過預處理的輸入特征圖相加再經ReLU激活輸出；

所述注意力機制SE模塊用于將提取的特征圖融合模塊輸出的特征圖通道權重與特征圖融合模塊輸出的特征圖相乘輸出N張輸出特征圖。

進一步地，所述特征圖聚類劃分模塊用于根據超參數補充特征信息占比α將輸入的特征圖劃分為表征主要信息特征圖Mrep和表征補充信息特征圖Mred，所述補充特征信息占比α∈（0,1）。

進一步地，所述表征主要信息特征圖Mrep=（1-α）M，表征補充信息特征圖Mred=αM。

進一步地，所述經過預處理的輸入特征圖是指將輸入通道輸入的特征數通過1×1卷積和BN操作后的特征圖。

本發明還提供了一種靈活可分離深度學習卷積框架的特征圖處理方法，包括如下步驟：

（1）獲取M個輸入特征圖，并根據超參數補充信息占比α將所述輸入特征圖劃分為表征主要信息特征圖和表征補充信息特征圖；

（2）對所述表征主要信息特征圖進行普通卷積和BN操作后輸出主要特征圖，對所述表征補充信息特征圖進行分組卷積和BN操作輸出補充特征圖；