[發(fā)明專利]基于細節(jié)增強通道注意力的紅外與可見光圖像融合方法

有效

• 申請?zhí)枺?/td>: 201911338674.1
• 申請日: 2019-12-23
• 公開（公告）號: CN111161201B
• 公開（公告）日: 2022-05-31
• 發(fā)明（設計）人: 杜慧茜;崔穎函;傅雄軍;謝民;馬志峰
• 申請（專利權(quán)）人: 北京理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 北京正陽理工知識產(chǎn)權(quán)代理事務所(普通合伙) 11639
• 代理人: 張利萍

1.基于細節(jié)增強通道注意力的紅外與可見光圖像融合方法，其特征在于：包括如下步驟：

步驟一：對訓練集中的紅外圖像和可見光圖像進行預處理，生成數(shù)量及大小相等的紅外圖像塊與可見光圖像塊；

其中，訓練集中包含m對紅外圖像和可見光圖像；紅外圖像塊按照從R₁到R_m且每幅圖像中從上到下及從左到右的順序編號為r₁到r_n；將可見光圖像塊按照從V₁到V_m且每幅圖像中從上到下及從左到右的順序編號為v₁到v_n；紅外圖像塊總數(shù)以及可見光圖像塊總數(shù)均為n；對紅外圖像編號RT_q，對可見光圖像編號VTq；q的取值范圍為1到d；d為測試集中包含紅外圖像和可見光圖像對的數(shù)量；

步驟二：將步驟一生成的數(shù)量及大小相等的紅外圖像塊與可見光圖像塊按順序分別級聯(lián)，得到級聯(lián)圖像塊；

其中，按順序分別級聯(lián)是指將紅外圖像塊r_p與可見光圖像塊v_p級聯(lián)并將級聯(lián)后的圖像塊記為f_p；初始化p＝1；

步驟三：將步驟二得到的級聯(lián)圖像塊f_p輸入一個卷積層，一個批正則化層，一個激活函數(shù)映射到高維空間，提取特征，得到高維特征圖；

其中，卷積層包括卷積核；

步驟四：將步驟三得到的高維特征圖通過一個通道注意力模塊，即DECA模塊，得到信息增強的高維特征圖；

其中，DECA模塊包含分支A和分支B；分支A用于增強高維特征圖的亮度信息，分支B用于增強高維特征圖的細節(jié)信息，分支A和分支B是并行結(jié)構(gòu)；

分支A中包括全局平均池化單元A₁、全連接單元A₂、激活單元A₃、全連接單元A₄和激活單元A₅；

分支B包括梯度運算單元、全局平均池化單元B₁、全連接單元B₂、激活單元B₃、全連接單元B₄和激活單元B₅；

步驟四包含如下子步驟：

步驟4.1A：將步驟三得到的高維特征圖輸入分支A，通過全局平均池化a₁得到含有亮度信息的高維特征圖，再將含有亮度信息的高維特征圖通過全連接a₂和激活函數(shù)a₃運算，得到突出亮度信息的高維特征圖，再將突出亮度信息的高維特征圖通過全連接a₄和激活函數(shù)a₅運算，得到尺度向量s_b，跳至步驟4.2；

其中，s_b的維度記為C，與步驟三得到的高維特征圖維度一致，反映了圖像的亮度信息；

其中，全局平均池化a₁的操作如式(1)：

X_c表示步驟三得到的高維特征圖的第c個通道，F(xiàn)_sq(X_c)表示含有亮度信息的高維特征圖的第c個通道，H、W分別為輸入的步驟三得到的高維特征圖的高和寬，X_c(i,j)表示X_c第i行和第j列處的值；

步驟4.1B：將步驟三得到的高維特征圖輸入分支B，通過梯度運算得到梯度高維特征圖，再將梯度高維特征圖通過全局平均池化b₁、全連接b₂和激活函數(shù)b₃運算，得到突出梯度信息的高維特征圖，再將突出梯度信息的高維特征圖通過全連接b₄和激活函數(shù)b₅運算，得到尺度向量s_g；

其中，梯度運算在梯度運算單元中實現(xiàn)，全局平均池化b₁在全局平均池化單元B₁中實現(xiàn)，全連接b₂使用RELU函數(shù)在全連接單元B₂中實現(xiàn)，激活函數(shù)b₃在激活單元B₃中實現(xiàn)，全連接b₄在全連接單元B₄中實現(xiàn)，激活函數(shù)b₅使用sigmoid函數(shù)在激活單元B₅中實現(xiàn)；s_g的維度記為C，與步驟三得到的高維特征圖維度一致，反映了圖像的細節(jié)信息；

其中，全局平均池化b₁的操作如式(1)，梯度運算如式(2)所示：

其中，F(xiàn)_grad(X_c)表示梯度高維特征圖的第c個通道，c的取值范圍為1到C；X_c(i,j-1)表示X_c第i行和第j－1列處的值；X_c(i-1,j)表示X_c第i－1行和第j列處的值；

步驟4.2：將s_g和s_b相加，得到尺度向量s，即(3)：

s＝ks_b+s_g (3)

其中，參數(shù)k用來平衡s_g和s_b的權(quán)重；

步驟4.3：將步驟4.2中的尺度向量s與步驟三得到的高維特征圖對應通道相乘，生成信息增強的高維特征圖；

步驟五：將步驟四中得到的信息增強的高維特征圖作為輸入，重復Q次步驟三和步驟四，對信息增強的高維特征圖進行進一步的信息提取和增強，得到信息進一步增強的高維特征圖；

步驟六：將步驟五輸出的信息進一步增強的高維特征圖通過一個卷積層，一個批正則化層，一個激活函數(shù)運算，進行特征融合，輸出融合特征圖；

步驟七：將步驟六得到的融合特征圖通過一個卷積核大小為1×1的卷積層，一個批正則化層，一個Tanh激活函數(shù)運算，進行降維映射，輸出融合圖像塊；

至此，步驟三到步驟七構(gòu)成了卷積神經(jīng)網(wǎng)絡F的操作；

步驟八：計算步驟七得到的融合圖像塊與步驟三級聯(lián)圖像塊f_p對應的紅外圖像塊r_p和可見光圖像塊v_p之間的損失，并利用梯度下降方法回傳損失，使損失函數(shù)的輸出值最小化，更新卷積神經(jīng)網(wǎng)絡F中所有卷積層和全連接層的參數(shù)；

其中，損失函數(shù)如式(4)所示：

其中，L表示損失函數(shù)的輸出值，I_f，r_p，v_p分別表示步驟七輸出的融合圖像塊、組成步驟三中級聯(lián)圖像塊的紅外圖像塊和可見光圖像塊；‖·‖_F表示Frobenius范數(shù)，超參數(shù)λ是調(diào)節(jié)權(quán)重的參數(shù)，取值范圍在3到10之間；超參數(shù)γ是調(diào)節(jié)權(quán)重的參數(shù)，其取值范圍在0.5到1.2之間；為融合圖像塊與紅外圖像塊之差的Frobenius范數(shù)的平方，為融合圖像塊與可見光圖像塊之差的Frobenius范數(shù)的平方；為梯度約束條件，用于保留融合圖像塊的細節(jié)信息，表示梯度算子；

步驟九：判斷p是否等于n，若是，則表明已得到新的卷積神經(jīng)網(wǎng)絡F中的所有卷積層和全連接層的參數(shù)，跳至步驟十；若否取p＝p+1，跳至步驟三；

步驟十：固定步驟九中新的卷積神經(jīng)網(wǎng)絡F中的所有卷積層和全連接層的參數(shù)，依次將步驟一中的RT_q和VT_q級聯(lián)得到級聯(lián)圖像F_q；q取1到d；

步驟十一：依次輸入級聯(lián)圖像F₁到F_d，重復步驟三到七，輸出融合圖像P₁到P_d。