[發明專利]一種基于深度學習的紅外與可見光融合成像方法

有效

• 申請號: 202110878885.5
• 申請日: 2021-08-02
• 公開（公告）號: CN113487530B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 程良倫;李卓;吳衡
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 佛山市君創知識產權代理事務所(普通合伙) 44675
• 代理人: 杜鵬飛

本申請公開了一種基于深度學習的紅外與可見光融合成像方法，包括：針對目標同時采集相同尺寸的紅外圖像和可見光圖像以構成目標物圖像對，對目標物圖像對中的子圖像進行子圖像對分割、預處理以及添加噪聲圖，將添加了噪聲圖的子圖像對作為輸入圖像對輸入到訓練好的圖像融合模型中，得到融合后的圖像；所述圖像融合模型包括淺層特征提取單元、編碼器、融合模塊以及解碼器。本申請考慮了源圖像含噪這一普遍事實，并將其作為實際成像應用的前提，在融合圖像過程中進行圖像去噪，有效避免了源圖像對中的噪點被引入融合圖像；本申請非常有利于紅外與可見光融合及深度學習技術的應用研究，其有望在醫學成像和夜間監測等領域得到廣泛應用。

技術領域

本申請涉及圖像融合領域，具體涉及一種基于深度學習的紅外與可見光融合成像方法。

背景技術

紅外熱成像以目標熱輻射信息為輸入，在光照不足時也可探測目標并根據輻射的差異將目標與背景區分開來。可見光傳感器利用物體反射率對目標進行成像，可以提供具有高分辨率和清晰紋理細節的圖像。紅外與可見光成像系統可以同時反應同一目標物的不同屬性，從不同的方面提供場景信息，在軍事、視頻監控、汽車輔助駕駛、森林防火等領域都有廣泛的應用。

近年來，隨著紅外與可見光成像技術被廣泛應用，進一步提高了多模態傳感器的信息利用率和成像系統的可靠工作時間，但也暴露了一些問題，例如：紅外熱圖像成像質量差、對比度低且噪聲干擾嚴重；可見光圖像容易受光照不足、霧和其他惡劣天氣的影響；大多數成像系統生成的圖像均存在噪聲干擾。因此，基于紅外與可見光成像系統的圖像融合方法在圖像信息融合領域顯得格外重要，開發先進的圖像融合算法非常有助于信息融合技術的應用與發展。

發明內容

本申請的目的是提供一種基于深度學習的紅外與可見光融合成像方法，用以解決紅外與可見光成像系統中紅外成像質量差、噪聲干擾嚴重以及可見光圖像易受惡劣天氣影響的問題。

為了實現上述任務，本申請采用以下技術方案：

本申請第一方面提供了一種基于深度學習的紅外與可見光融合成像方法，包括以下步驟：

針對目標同時采集相同尺寸的紅外圖像和可見光圖像以構成目標物圖像對，對目標物圖像對中的子圖像進行子圖像對分割、預處理以及添加噪聲圖，將添加了噪聲圖的子圖像對作為輸入圖像對輸入到訓練好的圖像融合模型中，得到融合后的圖像；

所述圖像融合模型包括淺層特征提取單元、編碼器、融合模塊以及解碼器，其中：

淺層特征提取單元用于對所述輸入圖像對進行淺層特征提??；

編碼器為雙層網絡結構，包括上層網絡和下層網絡；其中，上層網絡包括多層卷積層和線性整流層的連續堆疊和跳轉連接，并在最后設置卷積層用于提取特征和重組信道；下層網絡包括非局部增強模塊、多層卷積層和線性整流層的連續堆疊和跳轉連接，之后是一個二階信息注意力模塊和一個卷積層；

融合模塊用于對上層網絡輸出的特征圖對和下層網絡輸出的特征圖對，結合了空間注意力機制和信道注意力機制來生成融合特征圖；

解碼器包括多個上采樣層、多個卷積塊，多層卷積層和線性整流層；其中每個卷積塊包括兩個卷積核大小不同的卷積層。

進一步地，所述對目標物圖像對中的子圖像進行子圖像對分割、預處理以及添加噪聲圖，包括：

對目標物圖像對進行下采樣處理，以分割成子圖像對；對子圖像對中的每個子圖像進行圖像塊提取以及重組像素，得到預處理后的子圖像對；通過隨機采樣的方式構建噪聲圖，將噪聲圖作為額外通道加入到預處理后的子圖像對中。

進一步地，所述淺層特征提取單元的處理過程包括：

輸入圖像對以圖像張量格式被輸入到淺層特征提取單元；淺層特征提取單元包括一個卷積層和一個線性整流層ReLU，輸入圖像對經過卷積層和線性整流層后完成淺層特征提取，得到淺層特征圖對