[發明專利]基于跳躍連接卷積層的紅外與可見光圖像融合方法和裝置

有效

• 申請號: 202110367801.1
• 申請日: 2021-04-06
• 公開（公告）號: CN113159143B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 程江華;劉通;程榜;王濤;趙康成
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/774;G06K9/62
• 代理公司: 長沙國科天河知識產權代理有限公司 43225
• 代理人: 周達

本申請涉及一種基于跳躍連接卷積層的紅外與可見光圖像融合方法、裝置、計算機設備和存儲介質。所述方法包括：獲取紅外圖像樣本和可見光圖像樣本，將紅外圖像樣本和可見光圖像樣本輸入紅外與可見光圖像融合網絡；紅外與可見光圖像融合網絡包括：兩路級聯編碼器、多個支路解碼器以及一路級聯融合解碼器；基于跳躍連接的結構，適當增加中間連接層，將下采樣特征圖、下采樣特征圖經過一次上采樣得到的上采樣特征圖跳躍連接到解碼部分尺寸相同的特征圖，融合后生成結果，最大化利用特征圖，以提高對圖像的還原度。

技術領域

本申請涉及圖像處理領域，特別是涉及一種基于跳躍連接卷積層的紅外與可見光圖像融合方法、裝置、計算機設備和存儲介質。

背景技術

可見光與紅外圖像的成像特征具有顯著差異，但其圖像融合又有良好的互補性，在目標探測識別領域有廣泛應用。紅外與可見光融合方法大概分為兩類：傳統方法與深度學習方法。傳統方法通常使用相關的數學變換和手動設計的融合規則來獲取融合圖像，大致有基于多尺度變換的方法、基于顯著性的融合方法、基于混合模型的方法和基于稀疏表示的融合方法等。基于多尺度變換的方法，一般將紅外和可見光圖像分解為不同尺寸的分量，每個分量表示該尺度下的子圖像。該類融合方法比較符合人眼的視覺特性，所以融合結果有較好的視覺效果，但是，現實中的對象通常包括了不同尺度的分量，多尺度分解算子復雜多樣，且各有特點，需要先驗算子進行融合。基于顯著性的融合方法魯棒性較強，適用于多種類型的圖像融合，但是需要先對圖像進行分解得到不同的圖層，包括基礎圖和細節圖，對不同圖層用顯著性提取模型提取顯著性圖，然后通過不同規則重構基礎圖和細節圖，以此構建結果圖，操作步驟較為繁瑣。基于稀疏表示的融合方法，基于稀疏表示的方法需要預先構建完備稀疏字典，工作量較大。還有基于混合模型的方法，這種方法結合了上面幾種方法，不可避免的也會包含這幾種方法的缺點。這些傳統方法大多數傳統方法通常有三個步驟：圖片轉換、活動水平測量和融合規則設計。隨著融合規則設計不斷復雜化，計算量也隨之增大。基于深度學習的方法無需人工設計融合規則，只需設計合適的網絡結構和損失函數。常見的有基于CNN的聯合圖像融合方法、基于卷積稀疏表示的圖像融合方法、基于DenseNet的圖像融合方法等。目前提出的大多數網絡較深，參數量較大，會使得運行和訓練較慢。但是縮減網絡層數，減少密集連接網絡層可能會導致效果不佳。另外一些網絡，如IFCNN，這種為保留圖像信息整個網絡不使用下采樣，會使感受野有限，無法獲得高維信息。還有基于生成對抗網絡的方法，如FusionGAN，盡管融合效果較好，但是GAN網絡訓練時每次更新都需要先訓練判別器，再反饋更新生成器的參數，會使得訓練速度變慢。

因此，現有技術存在計算量大、效果不佳的問題。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提升圖像融合效果的基于跳躍連接卷積層的紅外與可見光圖像融合方法、裝置、計算機設備和存儲介質。

一種基于跳躍連接卷積層的紅外與可見光圖像融合方法，所述方法包括：

獲取紅外圖像樣本和可見光圖像樣本，將所述紅外圖像樣本和所述可見光圖像樣本輸入紅外與可見光圖像融合網絡；所述紅外與可見光圖像融合網絡包括：兩路級聯編碼器、多個支路解碼器以及一路級聯融合解碼器；

通過所述兩路級聯編碼器分別對所述紅外圖像樣本和所述可見光圖像樣本進行處理，分別得到兩路級聯編碼器的第一級下采樣特征圖和其他的下采樣特征圖，并將所述兩路級聯編碼器最后一級輸出的下采樣特征圖融合后作為所述級聯融合解碼器的第一級輸入；所述級聯融合解碼器對第一級輸入進行處理，得到第一級輸入對應的上采樣特征圖；

通過所述支路解碼器對所述其他下采樣特征圖進行處理，得到支路上采樣特征圖；

根據所述上采樣特征圖的尺寸匹配所述第一級下采樣特征圖、其他的下采樣特征圖以及所述支路上采樣特征圖，并將匹配結果與所述上采樣特征圖融合后作為級聯融合解碼器當前輸入，得到當前輸入對應的下一級上采樣特征圖；