[發明專利]一種基于三條帶注意機制的特征圖加權方法和裝置

在審

• 申請號: 202210579586.6
• 申請日: 2022-05-25
• 公開（公告）號: CN114863131A
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 馬志豪;袁夢軻;孟維亮;郭建偉;毛瑞琛;徐士彪;張曉鵬
• 申請（專利權）人: 之江實驗室;中國科學院自動化研究所
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于三條帶注意機制的特征圖加權方法，其特征在于，包括以下步驟：

(1)將原始特征圖分離成列條帶、行條帶和通道條帶；

(2)對列條帶、行條帶和通道條帶均采取壓縮、標準化處理、非線性激活、擴張處理和標準化處理，得到對應的加權后的列條帶、加權后的行條帶和加權后的通道條帶；

(3)將加權后的列條帶、加權后的行條帶和加權后的通道條帶的維度均擴充到原始特征圖的尺寸大小，得到擴充后的列特征圖、擴充后的行特征圖和擴充后的通道特征圖；隨后將三個擴充后的特征圖進行相加，并對相加結果進行非線性處理得到加權特征圖；

(4)將加權特征圖與原始特征圖進行相乘，并將相乘結果與原始特征圖進行相加，得到輸入特征圖，并將輸入特征圖作為后續的輸入。

2.根據權利要求1所述的一種基于三條帶注意機制的特征圖加權方法，其特征在于，所述步驟(1)包括以下子步驟：

(1.1)對原始特征圖F的行維度和通道維度進行平均池化操作，得到列條帶T_HF；所述原始特征圖F的維度為R^C×H×W，其中，C為通道維度，H為列維度，W為行維度；所述列條帶T_HF的維度為R^1×H×1；

(1.2)對原始特征圖F的列維度和通道維度進行平均池化操作，得到行條帶T_WF；所述行條帶T_WF的維度為R^1×1×W；

(1.3)對原始特征圖F的行維度和列維度進行平均池化操作，得到通道條帶T_CF；所述通道條帶T_CF的維度為R^C×1×1。

3.根據權利要求1所述的一種基于三條帶注意機制的特征圖加權方法，其特征在于，所述步驟(2)包括以下子步驟：

(2.1)使用多層感知機對列條帶、行條帶、通道條帶的元素均進行壓縮處理，將列條帶、行條帶或通道條帶的隱藏層的尺寸縮減r倍；

(2.2)使用批量標準化處理對壓縮處理后的元素進行標準化處理，并使用ReLU激活函數對標準化后的元素進行非線性激活；

(2.3)使用多層感知機對非線性激活后的元素進行擴張處理，將列條帶、行條帶或通道條帶的隱藏層的尺寸擴張r倍；

(2.4)使用批量標準化處理對擴張處理后的元素進行標準化處理，得到加權后的列條帶T′_HF、加權后的行條帶T′_WF、加權后的通道條帶T′_CF。

4.根據權利要求1所述的一種基于三條帶注意機制的特征圖加權方法，其特征在于，所述步驟(3)包括以下子步驟：

(3.1)將加權后的列條帶T′_HF的行維度乘上W，同時將T′_HF的通道維度乘上C，得到擴充后的列特征圖T″_HF；

將加權后的行條帶T′_WF的列維度乘上H，同時將T′_WF的通道維度乘上C，得到擴充后的行特征圖T″_WF；

將加權后的通道條帶T′_CF的行維度乘上W，同時將T′_CF的列維度乘上H，得到擴充后的通道特征圖T″_CF；

所述擴充后的列特征圖T″_HF的維度為R^C×H×W，所述擴充后的行特征圖T″_WF的維度為R^C×H×W，所述擴充后的通道特征圖T″_CF的維度為R^C×H×W；

(3.2)將擴充后的列特征圖T″_HF、擴充后的行特征圖T″_WF和擴充后的通道特征圖T″_CF進行相加，并對相加結果進行sigmoid非線性化處理，得到TSAM特征圖T_F，即T_F＝σ(T″_HF+T″_WF+T″_CF),其中σ表示sigmoid非線性化處理。