[發明專利]特征圖處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 201911067692.0
• 申請日: 2019-11-04
• 公開（公告）號: CN111027670B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 賈琳;趙磊
• 申請（專利權）人: 重慶特斯聯智慧科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本申請公開了一種特征圖處理方法、裝置、電子設備及存儲介質，方法包括：對輸入特征圖進行全局池化處理，用得到的池化值構建通道維度向量；使用若干不同尺寸的一維卷積核分別處理所述通道維度向量，得到若干一維向量；將所述若干一維向量相加，以相加得到的和作為所述輸入特征圖的最終通道維度向量；歸一化最終通道維度向量，得到對應于每個所述輸入特征圖的權重因子；將權重因子與所對應的輸入特征圖相乘，得到特征增強后的輸出特征圖。本申請提供的特征圖處理方法，使用多個一維卷積核處理全局池化后的通道維度向量，這種局部交互用于建模特征通道間的相關性，由于提取了多個尺度的局部特征信息，進一步提高了通道維特征增強的有效性。

技術領域

本申請涉及計算機視覺技術領域，具體涉及一種特征圖處理方法、裝置、電子設備及存儲介質。

背景技術

隨著深度學習的興起，卷積神經網絡(CNN)在計算機視覺領域取得了巨大成功。近年來，在計算機視覺領域，注意力機制由于能極大提高CNN在圖像分類、物體檢測、圖像分割等任務中的性能，許多CNN網絡均使用了注意力機制來對特征通道進行增強。特征圖(feature map)也叫通道(Channel)。通過卷積神經網絡(CNN)的卷積層對圖像進行卷積處理，得到對應的特征圖。卷積層可以在通道與通道之間進行交互，之后在下一層生成新的通道。每個卷積層有多少個卷積核，經過卷積處理后就會產生多少個特征圖。卷積神經網絡可以包括多個卷積層，可以連續進行多次卷積操作，中間的卷積層對上一卷積層輸出的特征圖進行卷積處理后輸出特征圖，由下一卷積層繼續進行卷積處理。通過多次卷積處理后得到的特征圖的特征提取效果直接影響對圖像的處理效果。

現有的ECA-Net使用全局平均池化(GAP)提取某層的通道維度向量，然后使用了一維卷積處理這層的通道維度向量，進而建模這層通道間的相關性，再使用Sigmoid激活函數獲得歸一化后的通道維權重因子，表示了每個特征通道的重要程度，最后用這個權重因子對相應通道的特征進行加權，從而提升有用特征并抑制對當前任務用處不大的特征。ECA-Net使用一維卷積時，卷積核的維數是根據通道數目來確定的，而且只使用了一種卷積核大小，由于一種卷積核只能提取到局部特征，導致后續建模通道間的相關性不太準確，導致對圖像的特征提取效果不佳，影響對圖像的下一步處理，影響整體的圖像處理效果。

發明內容

本申請的目的是提供一種特征圖處理方法、裝置、電子設備及存儲介質。為了對披露的實施例的一些方面有一個基本的理解，下面給出了簡單的概括。該概括部分不是泛泛評述，也不是要確定關鍵/重要組成元素或描繪這些實施例的保護范圍。其唯一目的是用簡單的形式呈現一些概念，以此作為后面的詳細說明的序言。

根據本申請實施例的一個方面，提供一種特征圖處理方法，包括：

對輸入特征圖進行全局池化處理，用得到的池化值構建通道維度向量；

使用若干不同尺寸的一維卷積核分別處理所述通道維度向量，得到若干一維向量；

將所述若干一維向量相加，以相加得到的和作為所述輸入特征圖的最終通道維度向量；

歸一化所述最終通道維度向量，得到對應于每個所述輸入特征圖的權重因子；

將所述權重因子與所對應的輸入特征圖相乘，得到特征增強后的輸出特征圖。

進一步地，所述全局池化處理為全局平均池化處理或全局最大池化處理。

進一步地，所述使用若干不同尺寸的一維卷積核分別處理所述通道維度向量，得到若干一維向量，包括：

當所述一維卷積核的尺寸與步長與所述通道維度向量不匹配，導致所述一維卷積核不能實現對所述通道維度向量的所有元素的遍歷時，則在卷積處理過程中對所述通道維度向量進行邊界填充，使所述通道維度向量的所有元素均能夠被所述一維卷積核遍歷。

進一步地，所述對所述通道維度向量進行邊界填充，包括：采用1、2或4的邊界填充值對所述通道維度向量進行邊界填充。