[發明專利]一種基于多模式特征的紅外與可見光圖像融合方法

在審

• 申請號: 202210244332.9
• 申請日: 2022-03-14
• 公開（公告）號: CN114639002A
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 劉向增;高豪杰;苗啟廣;宋建鋒;紀建
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安恒泰知識產權代理事務所 61216
• 代理人: 李鄭建

本發明公開了一種基于多模式特征的紅外和可見光圖像融合方法，包括：1.提取多模式特征的編碼器?解碼器網絡，2.使用熵、梯度和顯著性對多模式特征進行度量并設計自適應loss函數，3.構建嵌入Transformer融合策略的融合權重學習模型，4.將紅外圖像的顯著性圖作為label，加入該label作為融合網絡優化的區域選擇，5.將所述嵌入Transformer融合策略的融合權重學習模型與編碼器解碼器級聯，構建紅外與可見光圖像融合網絡并訓練。該方法利用Transformer捕獲多尺度特征的全局關聯性，兼顧局部與全局信息，提升融合圖像整體視覺效果；利用多模式自適應融合策略，保留圖像多模式特征信息，提高融合圖像的質量。

技術領域

本申請屬于圖像融合領域，具體涉及一種基于多模式特征的紅外與可見光圖像融合方法。

背景技術

圖像融合是指將不同類型傳感器獲得的圖像進行結合，生成一幅魯棒的或信息豐富的圖像，以便于后續的處理或決策。復雜應用程序需要有關特定場景的全面信息，以增強對該場景的全面理解。單模式傳感器僅能感知目標的單一場景信息，無法對目標進行多粒度感知。因此，融合技術在現代化應用和計算機視覺中發揮著越來越重要的作用。

由于物理傳感器的局限性，紅外與可見光圖像所捕獲的場景信息有很大不同。可見光圖像捕獲反射光，此類圖像通常具有高空間分辨率，豐富的顏色、紋理細節和高對比度的特征，適合人類的視覺感知，但容易受光照的影響，如在惡劣天氣或夜晚等光線不足的場景中，其圖像質量大大下降。紅外圖像捕獲熱輻射，描述物體熱輻射的紅外圖像能夠抵抗惡劣天氣、光線不足等干擾，但通常空間分辨率較低，缺乏圖像紋理、顏色等信息。紅外與可見光的圖像融合是指將同一場景下的紅外和可見光圖像結合起來，利用這兩種圖像的互補性，生成魯棒性強、信息量大的融合圖像。紅外與可見光的圖像融合技術在目標檢測、圖像增強、視頻監控和遙感等領域都有著廣泛的應用。

紅外與可見光的圖像融合方法主要分為傳統方法和深度學習方法。傳統的圖像融合方法主要使用多尺度變換(MST)、稀疏表示(SR)、基于顯著性、混合模型和其他方法。這些方法已經取得了良好的融合性能，但特征需要手工制作、計算復雜度高等問題仍然存在。在基于深度學習的方法中，FusionGAN、Attention FGAN和Nestfuse等模型改進傳統方法的缺點，但也有一定的局限性。首先，深度學習網絡通常直接從前一卷積層提取特征映射，忽略全局信息，導致融合結果質量低下。其次，采用帶融合策略的編碼器-解碼器模型中，簡單的融合策略可能會使圖像邊緣不清晰。最后，損失函數的設計也會影響網絡融合的效果。不合適的損失函數設計，不僅會減慢收斂速度，而且會使融合結果出現偽影和邊界模糊等問題。

發明內容

本發明的目的在于，提供一種基于多模式特征的紅外與可見光圖像融合方法，該方法解決了融合過程中缺少全局信息的問題，將多模式特征進行自適應的融合，結合顯著性信息，最終實現良好的融合。

為了實現上述任務，本發明采取如下的技術方案來實現的：

一種基于多模式特征的紅外與可見光圖像融合方法，其特征在于，包括以下步驟：

步驟1，構建特征提取和圖像重構網絡，基于多尺度卷積網絡，通過loss函數的的引導，優化生成一個多模式特征編碼器-解碼器網絡；

步驟2，通過所述編碼器-解碼器網絡提取紅外與可見光多模式特征，使用熵、梯度和顯著性對所述多模式特征進行度量，并設計多模式自適應loss。

步驟3，構建嵌入Transformer融合策略的融合權重學習模型，并為所述融合模型的權重賦值；

步驟4，獲取紅外圖像的顯著性圖作為label，加入顯著性label作為融合網絡優化的區域選擇；

步驟5，將所述嵌入Transformer融合策略的融合權重學習模型與編碼器解碼器級聯，構建紅外與可見光圖像融合網絡，并采用所述顯著性label和多模式loss對所述紅外與可見光圖像融合網絡進行訓練。