[發明專利]一種基于注意力機制的特征提取方法、裝置及電子設備

在審

• 申請號: 202010897554.1
• 申請日: 2020-08-31
• 公開（公告）號: CN112016571A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 任豪;王紫頤
• 申請（專利權）人: 馭勢科技（南京）有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 郭鑫

1.一種基于注意力機制的特征提取方法，其特征在于，所述方法包括：

獲取多個不同尺度的特征圖，所述多個不同尺度的特征圖包括同一深度下尺度最大的第一特征圖和至少一個其他尺度的第二特征圖；

對所述第一特征圖增加注意力；

對未增加注意力的至少一個第二特征圖執行卷積后進行上采樣，確定至少一個第三特征圖，所述至少一個第三特征圖與所述第一特征圖的尺度相同；

基于所述增加注意力的第一特征圖和所述至少一個第三特征圖，確定輸出特征圖。

2.根據權利要求1所述的方法，其特征在于，所述對所述第一特征圖增加注意力包括：

將所述第一特征圖和每個所述第二特征圖分別進行卷積操作；

對每個所述第二特征圖進行卷積操作后得到的特征圖，進行上采樣；

將所述第一特征圖進行卷積操作后得到的特征圖與所述上采樣得到的特征圖進行相加操作；

對所述相加操作得到的特征圖依次進行線性整流操作、卷積操作和激活操作，得到所述第一特征圖的第一注意力權重；

將所述第一注意力權重與所述第一特征圖進行乘積操作，實現對所述第一特征圖增加注意力。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將所述輸出特征圖替換所述第一特征圖。

4.根據權利要求1所述的方法，其特征在于，所述同一深度下尺度最大的第一特征圖和至少一個其他尺度的第二特征圖均來源于HRNet。

5.一種基于注意力機制的特征提取方法，其特征在于，所述方法包括：

獲取多個不同尺度的特征圖，所述多個不同尺度的特征圖包括同一深度下尺度最大的第一特征圖和至少一個其他尺度的第二特征圖；

對所述至少一個其他尺度的第二特征圖增加注意力；

對增加注意力的至少一個第二特征圖執行卷積后進行上采樣，確定至少一個第三特征圖，所述至少一個第三特征圖與所述第一特征圖的尺度相同；

基于所述第一特征圖和所述至少一個第三特征圖，確定輸出特征圖。

6.根據權利要求5所述的方法，其特征在于，所述對所述至少一個其他尺度的第二特征圖增加注意力包括：

針對每個所述第二特征圖：

將所述第一特征圖和所述第二特征圖分別進行卷積操作；

將所述第一特征圖進行卷積操作后得到的特征圖，進行下采樣；

將所述下采樣得到的特征圖與所述第二特征圖進行卷積操作后得到的特征圖，進行相加操作；

對所述相加操作得到的特征圖依次進行線性整流操作、卷積操作和激活操作，得到所述第二特征圖的第二注意力權重；

將所述第二注意力權重與所述第二特征圖進行乘積操作，實現對所述第二特征圖增加注意力。

7.根據權利要求5所述的方法，其特征在于，所述方法還包括：

將所述輸出特征圖替換所述第一特征圖。

8.根據權利要求5所述的方法，其特征在于，所述同一深度下尺度最大的第一特征圖和至少一個其他尺度的第二特征圖均來源于HRNet。

9.一種基于注意力機制的特征提取裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取多個不同尺度的特征圖，所述多個不同尺度的特征圖包括同一深度下尺度最大的第一特征圖和至少一個其他尺度的第二特征圖；

第一注意力模塊，用于對所述第一特征圖增加注意力；

處理模塊，用于對未增加注意力的至少一個第二特征圖執行卷積后進行上采樣，確定至少一個第三特征圖，所述至少一個第三特征圖與所述第一特征圖的尺度相同；

輸出模塊，用于基于所述增加注意力的第一特征圖和所述至少一個第三特征圖，確定輸出特征圖。