[發明專利]一種基于注意力機制的遙感圖像中目標計數方法

有效

• 申請號: 202010794525.2
• 申請日: 2020-08-10
• 公開（公告）號: CN112084868B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 劉慶杰;高廣帥;王蘊紅
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06T7/60;G06N3/04
• 代理公司: 北京航智知識產權代理事務所(普通合伙) 11668
• 代理人: 黃川;史繼穎

1.一種基于注意力機制的遙感圖像中目標計數方法，其特征在于，包括在VGG16網絡結構基礎上，對輸入圖像進行以下三個級聯階段的處理：

S1：前端網絡的特征提取；

對輸入圖像，取VGG16網絡結構的前10層操作，隨后融合卷積塊注意力模塊，即將通道注意力模塊和空間注意力模塊連接的操作，用來編碼特征圖通道及像素位置之間的相關性；

所述通道注意力模塊的結構體系如下：對于任意一個中間層的特征圖表示為其中，表示實數空間，C表示特征圖的通道，H和W分別表示特征圖的高和寬,首先，對特征圖執行一個1×1的卷積操作，然后通過變形和轉置獲得兩個特征圖C₁和C₂；接下來，將C₁和C₂相乘并執行歸一化指數操作，獲得尺寸為C×C的通道注意圖C_a，即其中，表示通道注意圖上第i個通道對第j個通道的影響，為對原始特征圖先經過1×1卷積后再變形為尺寸為C×HW的特征圖的第i個通道，為原始特征圖先經過1×1卷積后再變形轉置為尺寸為HW×C的特征圖的第j個通道，最后經過通道注意力模塊加權的尺寸為C×H×W的特征圖計算：其中，λ是一個可學習的參數，通過1×1的卷積操作學習得到，為最后經過通道注意力模塊加權后的特征圖的第j個通道，為對原始特征圖先經過1×1卷積后再變形為尺寸為C×HW的特征圖的第i個通道，F^j為原始的特征圖的第j個通道；

所述空間注意力模塊的網絡架構如下：首先，對特征圖執行三個1×1的卷積操作，然后通過變形和轉置獲得兩個特征圖S₁和S₂；接下來，將S₁和S₂相乘并執行歸一化指數操作，獲得尺寸為HW×HW的通道注意圖S_a，即其中，表示第k個位置對第l個位置的影響，為原始特征圖先經過1×1卷積后再變形為尺寸為C×HW的特征圖的第k個位置，為原始特征圖先經過1×1卷積后再變形轉置為尺寸為HW×C的特征圖的第l個位置，最后經過空間注意力模塊加權的尺寸為C×H×W的特征圖計算如下：其中，μ是一個可學習的參數，通過1×1的卷積操作學習得到，為最終經過空間注意力模塊加權的特征圖的第l個位置，為原始特征圖先經過1×1卷積后再變形為尺寸為C×HW的特征圖的第k個位置，F^l為原始特征圖的第l個位置；

S2：中端網絡的多尺度融合；

引入尺度金字塔模塊，級聯膨脹率分別為2,4,8,12的空洞卷積，捕獲更多的多尺度信息和細節信息；

S3：后端網絡的密度圖的生成；

采用三層卷積核為3×3的可變形卷積，每層之后都有一層修正線性單元ReLU激活函數，最后添加一個1×1的卷積層用來生成密度圖；

其中，對于一個采樣點的位置p_m，對于一個卷積核為3×3，膨脹率為1的可變形卷積，為規則采樣點的集合，位置p的輸出特征圖其中，w表示加權的參數，x表示輸入的特征圖，m＝1,L,M,表示第m個采樣點，M為采樣點的總數，Δp_m為可通過訓練優化得到的可自適應學習的偏置；

S4：將步驟S3的密度圖的所有像素求和得到最終的目標數量。