[發明專利]一種雙通道注意力機制的深度卷積網絡目標識別方法

在審

• 申請號: 202211090432.7
• 申請日: 2022-09-07
• 公開（公告）號: CN115601583A
• 公開（公告）日: 2023-01-13
• 發明（設計）人: 王俊杰;趙立業;黃程韋
• 申請（專利權）人: 東南大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 周蔚然

1.一種雙通道注意力機制的深度卷積網絡目標識別方法，其特征在于：包括以下步驟，

步驟1：構建卷積神經網絡，以圖像樣本對作為輸入，提取高維特征圖；

步驟2：構建空間注意力機制模塊，以神經網絡提取的兩幅高維特征圖作為輸入，計算空間維度上特征像素間的相關性并與原始特征逐元相加；

步驟3：構建通道注意力機制模塊，以神經網絡提取的兩幅高維特征圖作為輸入，計算通道維度上特征通道間的相關性并與原始特征逐元相加；

步驟4：將空間注意力機制模塊與通道注意力機制模塊的輸出在通道維度上堆疊，獲得模型最終的特征表示；

步驟5：構建訓練樣本對，同類目標通過數據增強擴充規模，不同類目標直接成對；

步驟6：計算交叉熵損失通過隨機梯度下降學習網絡參數，得到具有區分目標類別能力的神經網絡模型。

2.如權利要求1所述的一種雙通道注意力機制的深度卷積網絡目標識別方法，其特征在于：所述步驟1具體包括，

步驟1-1：構建卷積神經網絡，包含17個卷積層，其中頭部卷積層由64個7×7尺寸卷積核構成且步長為2，從而對輸入圖像進行0.5倍下采樣并將特征圖通道數升至64維；最大值池化層采用3×3的窗口尺寸，步長為2，用于對特征圖進行0.5倍下采樣；除頭部卷積層外每2個采用3×3尺寸卷積核的卷積層以直連結構組成一個殘差模塊，共計8個殘差模塊，每個殘差塊中的首個卷積層步長為2，其余為1，卷積核數量隨網絡深度增加而不斷增加，最終提取得到尺寸為輸入圖像的1/32、通道數升維至512維的高維特征圖網絡權重通過隨機初始化得到并在訓練過程中通過反向傳播不斷更新；

步驟1-2：構建兩路完全相同的如步驟1-1所述的卷積神經網絡，每一路接收圖像樣本對中的一幅圖像作為輸入，分別輸出高維特征圖F₁與F₂。

3.如權利要求2所述的一種雙通道注意力機制的深度卷積網絡目標識別方法，其特征在于：所述步驟2具體包括，

步驟2-1：對于步驟1所述的卷積神經網絡提取到的原始高維特征圖F∈R^C×H×W，其中H、W、C分別表示特征圖的高度、寬度和通道數，將其分別輸入三組1×1卷積層從而獲得三個新的特征圖F_a、F_b、F_c，并將其寬高維度展平，即{F_a,F_b,F_c}∈R^C×(H×W)；隨后，將F_a的轉置與F_b相乘后經過Softmax函數得到空間注意力矩陣M_s∈R^{(H×W)×(H×W)}，具體為

其中，表示了第i個位置與第j個位置的特征像素間的相關性；T代表轉置，F_a、F_b為卷積層輸出的特征圖；

步驟2-2：使F_c與M_s相乘并與原始高維特征F∈R^C×H×W逐元相加，獲得輸出特征F_s，具體為

其中η_s為可訓練的尺度因子，并初始化為0，用于避免過大，j為空間位置的下標。

4.如權利要求3所述的一種雙通道注意力機制的深度卷積網絡目標識別方法，其特征在于：所述步驟3具體包括，

步驟3-1：對于步驟1所述的神經網絡提取到的高維特征圖F∈R^C×H×W，其中H、W、C分別表示特征圖的高度、寬度和通道數，展平其寬高維度后以自身與自身的轉置做乘積獲得通道注意力矩陣M_t∈R^C×C，令i,j代表空間第i個位置與第j個位置，T為轉置運算，具體為

步驟3-2：使F與M_t相乘并與原始特征F∈R^C×H×W逐元相加，獲得輸出特征F_t，具體為

其中η_t為可訓練的尺度因子，并初始化為0，用于避免過大。