[發明專利]基于細節增強通道注意力的紅外與可見光圖像融合方法

有效

• 申請號: 201911338674.1
• 申請日: 2019-12-23
• 公開（公告）號: CN111161201B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 杜慧茜;崔穎函;傅雄軍;謝民;馬志峰
• 申請（專利權）人: 北京理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 張利萍

本發明涉及基于細節增強通道注意力的紅外與可見光圖像融合方法，屬于特征提取與圖像融合技術領域。包括：1將紅外圖像和可見光圖像剪裁成大小相等的圖像塊并級聯；2將級聯圖像依次通過一個卷積層，一個批正則化層，一個激活函數，得到高維特征圖；3將高維特征圖通過DECA模塊，得到信息增強的高維特征圖；4重復Q次步驟2和3，進一步對高維特征圖進行信息增強；5將信息進一步增強的高維特征圖通過一個卷積層，一個批正則化層，一個激活函數運算，輸出融合特征圖；6計算損失函數，更新卷積層和全連接層參數；7固定卷積層和全連接層的參數，融合圖像。所述方法能在融合圖像中提取亮度信息，突出圖像中的高亮目標，同時保留大量細節信息。

技術領域

本發明涉及基于細節增強通道注意力的紅外與可見光圖像融合方法，屬于特征提取與圖像融合技術領域。

背景技術

圖像融合技術是將來自不同傳感器/模態的同一場景的數據組合到單個圖像的過程。融合后的圖像可以比源圖像攜帶更全面的信息。針對不同的應用，例如計算機視覺，攝影和醫學成像，已經提出了大量的圖像融合方法。基于紅外和可見光圖像的融合圖像可以被用于目標識別或檢測，如何使融合圖像既包含可見光圖像中的細節和紋理信息，又包含紅外圖像中的高亮目標，從而盡可能多地將多模態信息保留在一幅圖像中是目前研究的主要問題。

現有傳統方法首先分解源圖像，然后根據融合規則融合相應的系數，最后將融合的系數映射回圖像域以獲得融合的圖像。由于針對不同圖像使用的融合方法固定，分解工具相同，因此傳統方法可能無法獲得最佳融合效果。此外，手動設計的融合規則是復雜且繁瑣的。

近年來，由于深度學習在許多領域(包括計算機視覺，語音識別，自然語言處理等)中的出色表現，這一方法也被應用到圖像融合領域。通過使用深度學習，我們可以在大型訓練數據集上訓練深且復雜的網絡，以提取各種特征并自動獲取更通用的融合規則。訓練完成后，可以快速地融合圖像。現有的基于深度學習的圖像融合方法主要在損失函數和網絡結構兩方面對模型進行改進，以達到更理想的融合效果，即在一幅圖上保留更豐富的信息并突出紅外目標。

發明內容

本發明的目的在于針對現有紅外和可見光圖像融合方法存在的細節紋理信息丟失、紅外探測目標不明顯等技術缺陷，提出了基于細節增強通道注意力的紅外與可見光圖像融合方法。

所述紅外和可見光圖像融合方法，包括如下步驟：

步驟一：對訓練集中的紅外圖像和可見光圖像進行預處理，生成數量及大小相等的紅外圖像塊與可見光圖像塊；

步驟一具體為：從公開網站中下載數據集，數據集中包括m+d對紅外圖像和可見光圖像；從數據集中隨機選取m對紅外圖像和可見光圖像作為訓練集，并對紅外圖像編號R₁到R_m，對可見光圖像編號V₁到V_m；剩下的d對紅外圖像和可見光圖像作為測試集，對紅外圖像編號RT_q，對可見光圖像編號VT_q；q的取值范圍為1到d；將訓練集中的所有紅外圖像和可見光圖像進行剪裁，生成數量及大小相等的紅外圖像塊和可見光圖像塊并編號；

其中，紅外圖像塊按照從R₁到R_m且每幅圖像中從上到下及從左到右的順序編號為r₁到r_n；將可見光圖像塊按照從V₁到V_m且每幅圖像中從上到下及從左到右的順序編號為v₁到v_n；紅外圖像塊總數以及可見光圖像塊總數均為n；

步驟二：將步驟一生成的數量及大小相等的紅外圖像塊與可見光圖像塊按順序分別級聯，得到級聯圖像塊；

其中，按順序分別級聯是指將紅外圖像塊r_p與可見光圖像塊v_p級聯并將級聯后的圖像塊記為f_p；p的取值范圍為1到n，初始化p＝1；