[發明專利]一種基于空間注意力地圖的目標檢測方法

有效

• 申請號: 202010024750.8
• 申請日: 2020-01-10
• 公開（公告）號: CN111259940B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 郭春生;蔡猛;應娜;陳華華;楊萌
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06V10/774;G06N3/0455;G06N3/0464;G06N3/045;G06N3/084
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

1.一種基于空間注意力地圖的目標檢測方法，其特征在于，包括步驟：

S1.將測試圖像輸入預先訓練好的Faster?RCNN網絡，并自下向上逐層進行特征提取、自上向下逐層進行高層語義信息傳播，得到目標的空間特征信息F和與空間特征信息相對應的特征梯度信息G；

S2.對所述得到的目標的空間特征信息F和特征梯度信息G進行加權計算，得到目標高層語義信息引導的注意力地圖M；

S3.對所述目標的空間特征信息F進行數據預處理，通過Transformer注意力模塊得到目標的感興趣區域圖P；

S4.疊加所述得到的目標感興趣區域圖P和目標高層語義信息引導的注意力地圖M，得到目標注意力地圖A；并將得到的目標注意力地圖A與通道特征權重進行計算，得到多通道的空間注意力地圖A^S；

S5.將所述得到的多通道的空間注意力地圖A^S與目標空間特征信息F進行結合，得到新的目標空間特征信息F_new；

S6.將得到的新的目標空間特征信息F_new聯合RPN網絡的目標候選框，提取出進行目標分類和邊界框回歸的特征。

2.根據權利要求1所述的一種基于空間注意力地圖的目標檢測方法，其特征在于，所述步驟S6之后還包括：

S7.在Faster?RCNN網絡訓練過程中，Transformer注意力模塊、RPN網絡、RCNN網絡均產生損失，并將Transformer注意力模塊的損失與RPN網絡、RCNN網絡的損失結合，得到新的損失函數，然后執行反向傳播進行網絡參數以及權重的更新。

3.根據權利要求1所述的一種基于空間注意力地圖的目標檢測方法，其特征在于，所述步驟S1中得到目標的空間特征信息和F與空間特征信息相對應的特征梯度信息G是通過卷積神經網絡的最后一層卷積層獲取到的。

4.根據權利要求1所述的一種基于空間注意力地圖的目標檢測方法，其特征在于，所述步驟S1中特征梯度信息G表示為：

其中，表示空間特征信息F中第k個特征圖(i，j)位置的元素值；Y表示高層語義信息。

5.根據權利要求4所述的一種基于空間注意力地圖的目標檢測方法，其特征在于，其特征在于，所述步驟S2中還包括對圖像特征梯度信息G采進行全局平均化處理，得到每個通道特征權重w_k：

其中，Z_k表示第k個通道中像素點的個數；w_k的尺寸大小為C×1，表示第k個特征圖對預測類別的重要性；

所述步驟S2中高層語義信息引導的注意力地圖M為：

其中，ReLU(·)表示非線性修正單元；F^k表示第k個通道的特征圖信息。

6.根據權利要求5所述的一種基于空間注意力地圖的目標檢測方法，其特征在于，其特征在于，所述步驟S3中的進行數據預處理包括多通道值的疊加、尺寸的統一、數值的歸一化操作；

所述步驟S3中進行數據預處理之后，通過nn.Embeding()方法將空間特征信息F映射到指定512維度，并對每一維度特征圖中分別位于奇數和偶數位置的序列信息采用正弦和余弦函數進行位置編碼，編碼計算方法如下：

PE_(pos,2l)＝sin(pos/10000^2l/d_model)

PE_(pos,2l+1)＝cos(pos/10000^2l/d_model)

其中，pos表示一個連續的整數序列；l表示序列信息所在位置；d_model＝512表示Transformer網絡模型的尺寸。