[發(fā)明專利]一種基于多模式特征的紅外與可見光圖像融合方法

在審

• 申請?zhí)枺?/td>: 202210244332.9
• 申請日: 2022-03-14
• 公開（公告）號: CN114639002A
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 劉向增;高豪杰;苗啟廣;宋建鋒;紀(jì)建
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安恒泰知識產(chǎn)權(quán)代理事務(wù)所 61216
• 代理人: 李鄭建

1.一種基于多模式特征的紅外與可見光圖像融合方法，其特征在于，包括以下步驟：

步驟1，構(gòu)建特征提取和圖像重構(gòu)網(wǎng)絡(luò)，基于多尺度卷積網(wǎng)絡(luò)，通過loss函數(shù)的的引導(dǎo)，優(yōu)化生成一個多模式特征編碼器-解碼器網(wǎng)絡(luò)；

步驟2，通過所述編碼器-解碼器網(wǎng)絡(luò)提取紅外與可見光多模式特征，使用熵、梯度和顯著性對所述多模式特征進(jìn)行度量，并設(shè)計(jì)多模式自適應(yīng)loss。

步驟3，構(gòu)建嵌入Transformer融合策略的融合權(quán)重學(xué)習(xí)模型，并為所述融合模型的權(quán)重賦值；

步驟4，獲取紅外圖像的顯著性圖作為label，加入顯著性label作為融合網(wǎng)絡(luò)優(yōu)化的區(qū)域選擇；

步驟5，將所述嵌入Transformer融合策略的融合權(quán)重學(xué)習(xí)模型與編碼器解碼器級聯(lián)，構(gòu)建紅外與可見光圖像融合網(wǎng)絡(luò)，并采用所述顯著性label和多模式loss對所述紅外與可見光圖像融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

2.如權(quán)利要求1所述的方法，其特征在于，步驟1中所述編碼器的結(jié)構(gòu)包含：1個1×1卷積層和4個編碼卷積模塊ECB10、ECB20、ECB30和ECB40，每個編碼卷積模塊包含2個3×3卷積層和一個最大池化層；

步驟1中所述解碼器的結(jié)構(gòu)包含：1個1×1卷積層和6個解碼卷積模塊DCB30、DCB20、DCB21、DCB10、DCB11和DCB12，每個解碼卷積模塊包含兩個3×3卷積層。

3.如權(quán)利要求1所述的方法，其特征在于，步驟1中所述解碼器網(wǎng)絡(luò)具體連接方式如下：在第一、第二尺度中采用橫向密集跳轉(zhuǎn)連接，采用通道連接方式，將第二尺度的最終融合特征跳轉(zhuǎn)連接到DBC21的輸入，將第一尺度的最終融合特征跳轉(zhuǎn)連接到DCB11和DCB12的輸入，將DCB10的輸出跳轉(zhuǎn)連接到DCB12的輸入；通過橫向密集跳轉(zhuǎn)連接，所有中間層的深度特征都被用于特征重構(gòu)，提高多尺度深度特征的重構(gòu)能力；在解碼子網(wǎng)絡(luò)中，在所有尺度中建立縱向密集連接，采用上采樣方式，將第四尺度的最終融合特征連接到DCB30的輸入，第三尺度的最終融合特征連接到DCB20的輸入，第二尺度的最終融合特征連接到DCB10的輸入，將DCB30的輸出連接到DCB21的輸入，DCB20的輸出連接到DCB11的輸入，DCB21的輸出連接到DCB12的輸入，通過縱向密集上采樣連接，所有尺度特征被用于特征重構(gòu)，進(jìn)一步提高多尺度深度特征的重構(gòu)能力。

4.如權(quán)利要求1所述的方法，其特征在于：編碼器-解碼器網(wǎng)絡(luò)的loss函數(shù)L_ED，其為輸入圖像與輸出圖像之間的像素一致性和結(jié)構(gòu)相似性，如公式(1)所示：

L_ED＝L_p+βL_ssin (1)

其中L_p為像素一致性loss，L_ssin為結(jié)構(gòu)相似性loss；

像素一致性lossL_p如公式(2)所示：

結(jié)構(gòu)相似性lossL_ssin如公式(3)所示：

L_ssim＝1-ssim(O，I) (3)

其中，O為網(wǎng)絡(luò)輸出圖像，I為輸入圖像。

5.如權(quán)利要求1所述的方法，其特征在于，步驟2中所述使用熵、梯度和顯著性對所述多模式特征進(jìn)行度量包含以下步驟：

步驟2.1，計(jì)算所述編碼器輸出的特征的熵，比較各個尺度特征的熵值，熵最高的特征包含最多的內(nèi)容與細(xì)節(jié)，將其歸類為內(nèi)容特征；

步驟2.2，使用Sobel梯度算子計(jì)算所述編碼器輸入圖像的梯度，將該梯度進(jìn)行下采樣后與各特征做差，并求均值，所得均值最小的特征包含更多的輪廓、邊緣等結(jié)構(gòu)性特征，將其歸類為邊緣結(jié)構(gòu)性特征；

步驟2.3，使用顯著性提取算法計(jì)算所述編碼器輸入圖像的顯著性圖，將該顯著性圖進(jìn)行下采樣后與各特征做差，并求均值，所得均值最小的特征對前景目標(biāo)與背景有一定的區(qū)分，將其歸類斑塊特征。