[發明專利]一種基于通道注意力的空間注意力計算方法

在審

• 申請號: 202210087706.0
• 申請日: 2022-01-25
• 公開（公告）號: CN114492631A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 李國強;方奇;查琳琳
• 申請（專利權）人: 燕山大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 石家莊眾志華清知識產權事務所(特殊普通合伙) 13123
• 代理人: 張建

本發明公開了一種基于通道注意力的空間注意力計算方法，涉及深度卷積神經網絡技術領域，設計通道注意力模塊前向推導出通道注意力圖和通道細化特征圖。本發明根據通道注意力圖，雙分支空間注意力模塊將通道細化特征圖的通道分組，分為重要通道和次重要通道。這使得空間注意力和通道注意力有機地聯系起來。接著將分好的通道組進行一系列的非線性操作，進而獲得一個二維空間注意力圖。本發明使得空間注意力和通道注意力緊密有機的聯系起來，便于嵌入到目前任意主流的深度卷積神經網絡中，提升網絡模型的性能表現。

技術領域

本發明涉及深度卷積神經網絡、通道注意力以及空間注意力技術領域，尤其是一種基于通道注意力的空間注意力計算方法。

背景技術

在過去的幾年里，許多學者都熱衷于探索更深的神經網絡來提升模型在視覺任務上的性能表現。然而，隨著神經網絡層數的加深，其在圖像分類，目標檢測等視覺任務上的精度并沒有顯著提升，即網絡性能表現的提升幅度與網絡層數的加深程度并不是正比關系。

在生物醫學界有研究者發現，在人類視覺系統中，注意力機制在獲取重要信息方面發揮著重要作用。受到這種現象的啟發，許多學者嘗試著在深度卷積神經網絡中結合注意力機制來提升模型性能。在這些學者的工作中，其中最具代表性的就是2017年由Hu etal.提出的Squeeze-and-Excitation(SENet)。該注意力模塊針對特征圖的通道維度進行關鍵特征的加強，進而在圖像分類任務上提升模型性能表現。SENet是一個較輕量化嵌入式注意力模塊，該模塊可以嵌入當前任意主流的深度卷積網絡架構中。在SENet模塊基礎上，2020年由Wang et al.提出了Efficient Channel Attention(ECA)。該模塊采用一維卷積代替了原SENet中的全連接層，使得通道注意力的推導速度大幅提升，并且克服了通道降維帶來的精度損失。

SENet和ECA模塊均揭示了特征圖通道之間的關系，但是二者都沒有考慮空間注意力的重要性，即沒有考慮特征圖在空間維度上的關鍵特征加強。空間注意力是對特征圖的關鍵像素的加強。2018年由Woo et al.提出了Convolutional Block Attention Module(CBAM)。該注意力模塊是首個考慮同時使用通道注意力和空間注意力的模塊，以順序連接的方式連接了通道注意力子模塊和空間注意力子模塊，即先通過通道注意力模塊進行通道維度上關鍵特征的加強，再通過空間注意力模塊進行空間維度上關鍵特征的加強。然而，在CBAM模塊中的空間注意力子模塊并沒有和通道注意力子模塊有機的結合，即空間注意力依然將重要通道和次重要通道放在一起進行池化操作。這會使得特征圖中原關鍵特征隨著平均池化操作減弱，進而使得網絡模型的性能表現沒有得到充分發揮。

發明內容

本發明需要解決的技術問題是提供一種基于通道注意力的空間注意力計算方法，提出的通道分離技術，使得空間注意力和通道注意力緊密有機的聯系起來，便于嵌入到目前任意主流的深度卷積神經網絡中，提升網絡模型的性能表現。

為解決上述技術問題，本發明所采用的技術方案是：

一種基于通道注意力的空間注意力計算方法，包括以下步驟：

步驟1：獲取通道注意力圖和通道細化特征圖；

步驟2：對對步驟1中得到的通道細化特征圖的通道進行分組，將通道細化特征圖的通道分為重要特征和次重要特征；

步驟3：對步驟2中得到的重要特征和次重要特征均進行通道軸方向的平均池化和最大池化操作；將各自的兩種池化結果進行特征聚合；

步驟4：將步驟3中得到的聚合后的結果經過一層共享卷積層，進而生成一對空間特征描述符；

步驟5：對步驟4中獲得的這對空間特征描述符進行非線性操作，即經過BN層和ReLU層；

步驟6：將步驟5中得到的這兩個空間特征描述符進行通道維度上的聚合，再經過一層卷積層，進而獲得空間注意力描述子；