[發(fā)明專利]基于跳躍連接卷積層的紅外與可見光圖像融合方法和裝置

有效

• 申請?zhí)枺?/td>: 202110367801.1
• 申請日: 2021-04-06
• 公開（公告）號: CN113159143B
• 公開（公告）日: 2022-06-07
• 發(fā)明（設(shè)計(jì)）人: 程江華;劉通;程榜;王濤;趙康成
• 申請（專利權(quán)）人: 中國人民解放軍國防科技大學(xué)
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/774;G06K9/62
• 代理公司: 長沙國科天河知識產(chǎn)權(quán)代理有限公司 43225
• 代理人: 周達(dá)

1.一種基于跳躍連接卷積層的紅外與可見光圖像融合方法，其特征在于，所述方法包括：

獲取紅外圖像樣本和可見光圖像樣本，將所述紅外圖像樣本和所述可見光圖像樣本輸入紅外與可見光圖像融合網(wǎng)絡(luò)；所述紅外與可見光圖像融合網(wǎng)絡(luò)包括：兩路級聯(lián)編碼器、多個支路解碼器以及一路級聯(lián)融合解碼器；

通過所述兩路級聯(lián)編碼器分別對所述紅外圖像樣本和所述可見光圖像樣本進(jìn)行處理，分別得到兩路級聯(lián)編碼器的第一級下采樣特征圖和其他的下采樣特征圖，并將所述兩路級聯(lián)編碼器最后一級輸出的下采樣特征圖融合后作為所述級聯(lián)融合解碼器的第一級輸入；所述級聯(lián)融合解碼器對第一級輸入進(jìn)行處理，得到第一級輸入對應(yīng)的上采樣特征圖；所述其他的下采樣特征圖為所述兩路級聯(lián)編碼器中從第二級到最后一級的下采樣特征圖；

通過所述支路解碼器對所述其他下采樣特征圖進(jìn)行處理，得到支路上采樣特征圖；

根據(jù)所述上采樣特征圖的尺寸匹配所述第一級下采樣特征圖、其他的下采樣特征圖以及所述支路上采樣特征圖，并將匹配結(jié)果與所述上采樣特征圖融合后作為級聯(lián)融合解碼器當(dāng)前輸入，得到當(dāng)前輸入對應(yīng)的下一級上采樣特征圖；

在級聯(lián)融合解碼器的最后一層解碼器網(wǎng)絡(luò)的輸出結(jié)果融合所述紅外圖像樣本和所述可見光圖像樣本的源圖像，激活輸出預(yù)測融合圖；

根據(jù)預(yù)先構(gòu)建的損失函數(shù)和所述預(yù)測融合圖，對所述紅外與可見光圖像融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)；

通過訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)進(jìn)行紅外與可見光圖像融合。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取紅外圖像樣本和可見光圖像樣本，將所述紅外圖像樣本和所述可見光圖像樣本輸入紅外與可見光圖像融合網(wǎng)絡(luò)；所述紅外與可見光圖像融合網(wǎng)絡(luò)包括：兩路級聯(lián)編碼器、多個支路解碼器以及一路級聯(lián)融合解碼器，包括：

獲取紅外圖像樣本和可見光圖像樣本，將所述紅外圖像樣本和所述可見光圖像樣本輸入紅外與可見光圖像融合網(wǎng)絡(luò)；所述紅外與可見光圖像融合網(wǎng)絡(luò)包括：兩路級聯(lián)編碼器、多個支路解碼器以及一路級聯(lián)融合解碼器；所述下采樣包括卷積層、批量歸一化層和LRelu激活層。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述獲取紅外圖像樣本和可見光圖像樣本，將所述紅外圖像樣本和所述可見光圖像樣本輸入紅外與可見光圖像融合網(wǎng)絡(luò)；所述紅外與可見光圖像融合網(wǎng)絡(luò)包括：兩路級聯(lián)編碼器、多個支路解碼器以及一路級聯(lián)融合解碼器，包括：

獲取紅外圖像樣本和可見光圖像樣本，將所述紅外圖像樣本和所述可見光圖像樣本輸入紅外與可見光圖像融合網(wǎng)絡(luò)；所述紅外與可見光圖像融合網(wǎng)絡(luò)包括：兩路級聯(lián)編碼器、多個支路解碼器以及一路級聯(lián)融合解碼器；所述上采樣包括反卷積層、批量歸一化層和LRelu激活層。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)預(yù)先構(gòu)建的損失函數(shù)和所述預(yù)測融合圖，對所述紅外與可見光圖像融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)，包括：

根據(jù)預(yù)先構(gòu)建的損失函數(shù)和所述預(yù)測融合圖，對所述紅外與可見光圖像融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)；所述損失函數(shù)包括SSIM損失函數(shù)和MSE損失函數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)預(yù)先構(gòu)建的損失函數(shù)和所述預(yù)測融合圖，對所述紅外與可見光圖像融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)，包括：

根據(jù)預(yù)先構(gòu)建的損失函數(shù)和所述預(yù)測融合圖，對所述紅外與可見光圖像融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)；所述SSIM損失函數(shù)通過拉普拉斯算子分別計(jì)算兩幅源圖像的梯度信息，得到SSIM的權(quán)重信息，根據(jù)所述權(quán)重信息引導(dǎo)所述預(yù)測融合圖向梯度信息較多的源圖像靠攏。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)預(yù)先構(gòu)建的損失函數(shù)和所述預(yù)測融合圖，對所述紅外與可見光圖像融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)，包括：

根據(jù)預(yù)先構(gòu)建的損失函數(shù)和所述預(yù)測融合圖，采用mini-batch的訓(xùn)練方法對所述紅外與可見光圖像融合網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的紅外與可見光圖像融合網(wǎng)絡(luò)。