[發明專利]用于卷積神經網絡的注意力權重模塊和方法

在審

• 申請號: 201911115359.2
• 申請日: 2019-11-14
• 公開（公告）號: CN112801262A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 李永;吳岳辛;王偉剛;葉翔;張高鑫;李婉婷;劉瑩;施方;李珂嘉
• 申請（專利權）人: 波音公司;北京郵電大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/46
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 劉彬

1.一種用于卷積神經網絡的注意力權重模塊，其特征在于，所述注意力權重模塊包括：

提取單元，被配置為從輸入至所述卷積神經網絡的特征圖中提取特征向量；

生成單元，被配置為將所述特征向量饋送至完全連接層，以生成注意力向量；

權重分配單元，被配置為基于所述注意力向量將權重分配至所述特征圖。

2.根據權利要求1所述的注意力權重模塊，其特征在于，所述注意力權重模塊還包括：

分組單元，被配置為將所述注意力向量分為兩個以上的注意力向量組，并且

所述權重分配單元，被配置為基于所述注意力向量或基于所述注意力向量組將權重分配至所述特征圖。

3.根據權利要求1所述的注意力權重模塊，其特征在于

所述提取單元通過空間自適應池化處理從所述特征圖中提取所述特征向量。

4.根據權利要求3所述的注意力權重模塊，其特征在于，所述空間自適應池化處理具有隨機采樣因子，并且所述空間自適應池化處理包括平均池化處理和最大池化處理。

5.根據權利要求1所述的注意力權重模塊，其特征在于

在所述生成單元中，所述完全連接層包括第一完全連接層和第二完全連接層，其中，所述特征向量依次通過：所述第一完全連接層、ReLU函數、所述第二完全連接層、sigmoid函數。

6.一種用于卷積神經網絡的卷積層的注意力權重模塊，其特征在于，所述注意力權重模塊包括：

提取單元，被配置為從輸入至所述卷積神經網絡的第一特征圖中提取特征向量z，所述第一特征圖的維度為H×W×C；

生成單元，被配置為將所述特征向量z饋送至完全連接層，以生成注意力向量s；

權重修正單元，被配置為基于所述注意力向量s修正所述卷積層的卷積核W，得到修正后的卷積核W_rec；

卷積單元，配置為將所述修正后的卷積核W_rec與所述第一特征圖進行卷積，從而得到第二特征圖。

7.根據權利要求6所述的注意力權重模塊，其特征在于，所述注意力權重模塊還包括：

分組單元，被配置為將所述注意力向量s分為兩個以上的注意力向量組，并且

所述權重修正單元，被配置為基于所述注意力向量s或基于所述注意力向量組修正所述卷積層的卷積核W，得到修正后的卷積核W_rec。

8.根據權利要求6所述的注意力權重模塊，其特征在于，所述提取單元通過空間自適應池化處理從所述特征圖中提取所述特征向量。

9.根據權利要求8所述的注意力權重模塊，其特征在于，所述空間自適應池化處理具有隨機采樣因子k，所述特征向量z的維度為C×k×k，并且所述空間自適應池化處理包括平均池化處理和最大池化處理。

10.根據權利要求9所述的注意力權重模塊，其特征在于

在所述生成單元中，所述完全連接層包括第一完全連接層和第二完全連接層，所述第一完全連接層的維度W₁＝λ/r×C×k×k，所述第二完全連接層的維度W₂＝λ/r×λ，其中，r為預設的下采樣因子，λ為所述注意力向量s的長度，其中，在所述生成單元中，所述特征向量z依次通過以下各項從而生成所述注意力向量s：所述第一完全連接層、ReLU函數、所述第二完全連接層、sigmoid函數，其中，所述注意力向量s的計算公式如下：

s＝σ(W₂δ(W₁z))。