[發明專利]一種紅外和可見光圖像融合方法

在審

• 申請號: 201811570632.6
• 申請日: 2018-12-21
• 公開（公告）號: CN109447936A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 余南南;卜偉;黃歡;胡福年
• 申請（專利權）人: 江蘇師范大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 康燕文

本發明公開了一種紅外和可見光圖像融合方法，首先，構建可見光和紅外圖像數據庫，確定卷積神經網絡結構，構建卷積神經網絡基本單元；其次，應用可見光和紅外圖像數據庫通過遷移訓練對GoogLeNet進行訓練；然后，將融合圖像分別和原圖像的損失函數以及正則項相加作為目標函數，進行融合網絡的訓練；最后，輸入待融合的可見光及紅外圖像得到最終的融合圖像。本發明將圖像融合分為融合網絡和評價網絡，根據感知損失函數確定目標函數，采用隨機梯度下降法更新融合網絡中參數，獲得最優的融合圖像，相比于現有的深度學習融合算法，融合效果更好。

技術領域

本發明涉及圖像處理領域，特別涉及到一種基于卷積神經網絡和感知損失函數的紅外和可見光圖像融合方法。

背景技術

紅外與可見光圖像融合是在軍事領域和安全監控領域具有廣泛應用的一種圖像融合方式。紅外圖像一般較暗、信噪比低、無彩色信息、缺少層次感，但卻常有比較明顯的目標信息；可見光圖像光譜信息豐富，動態范圍大，對比度相對較高，包含豐富的細節信息，但在黑暗背景下不易觀察。通過對紅外與可見光圖像的融合，提高紅外目標的可識別度和圖像的清晰度，獲得更加詳細準確的信息，可以使人們能在惡劣的環境下也能準確判斷熱源的位置，在軍事作戰、電子產品檢測、資源探測等眾多領域中都有廣泛的實用價值。

目前絕大部分的融合算法是在變換域實現的，將配準后的待融合圖像在變換域進行特征提取，如小波變換、獨立成分分析、Hess矩陣分解和稀疏分解等，其實質是通過某種變換將原始圖像轉換到變換域，對變換域上圖像的系數進行合并，重建得到融合圖像。這類方法在特征提取和合并過程中不能直接針對某種融合質量評價標準(如Piella指數，Petrovic指數)的提高，具有很強的盲目性，缺少理論依據，算法的有效性只能通過實驗驗證。因此這類算法具有較強的局限性，難以保證其對未經實驗圖像的有效性。

近年來，深度學習技術受到廣泛關注，已經在模式識別，圖像增強等許多領域取得很好的效果。也有一些研究人員將深度學習應用于圖像融合進行探索性的研究。如利用深度學習模型(如卷積神經網絡、自動編碼)將待融合圖像分解為高低頻圖像，再采用不同的融合規則分別融合，取得了一定的效果。但這類方法只是將深度學習獲得的特征分別融合，不能保證最后的融合質量，融合圖像的效果不能反饋于深度學習的訓練過程，沒有很好的利用深度學習算法的自適應性。因此，需要有一種新的方法通過深度學習和感知損失函數獲得效果最優的融合圖像。

發明內容

發明目的：本發明提出了一種融合效果更好的紅外和可見光圖像融合方法。

技術方案：本發明所述的一種紅外和可見光圖像融合方法，包括以下步驟：

(1)構建可見光和紅外圖像數據庫，確定卷積神經網絡結構，構建卷積神經網絡基本單元；

(2)應用可見光和紅外圖像數據庫通過遷移訓練對GoogLeNet進行訓練；

(3)將融合圖像分別和原圖像的損失函數以及正則項相加作為目標函數，進行融合網絡的訓練；

(4)輸入待融合的可見光及紅外圖像得到最終的融合圖像。

步驟(1)所述的卷積神經網絡深度為10，包括輸入層、基本單元、卷積層和回歸層。

所述步驟(1)包括以下步驟：

(13)將帶融合數據庫中的紅外和可見光圖像滑動分塊，根據融合網絡深度確定圖像塊的大小；

(14)輸入層之后是第1個卷積層，包含32個濾波器，卷積核為3×3；

(13)接下來的9層中的卷積核由維度為3×3×32的標準正態分布的隨機矩陣乘以分別計算得到，偏置全部為0，卷積層后跟隨一個激勵層，激勵層均選用漏修正線性單元函數；

(14)最后一層卷積層后使用回歸層。

所述步驟(2)包括以下步驟：