[發明專利]基于殘差密集網絡和梯度損失的紅外光與可見光圖像融合方法

在審

• 申請號: 202110913641.6
• 申請日: 2021-08-10
• 公開（公告）號: CN113592018A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 周士華;李嘉偉;王賓
• 申請（專利權）人: 大連大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 大連智高專利事務所(特殊普通合伙) 21235
• 代理人: 畢進

本發明公開了一種基于殘差密集網絡和梯度損失的紅外光與可見光圖像融合方法，包括：將紅外光圖像和可見光圖像放入預先訓練好的VGG?16網絡中進行參數提取，對提取到的特征圖值進行標準化和歸一化處理得到權重塊；再將紅外光圖像和可見光圖像放入網絡模型中進行端到端的無監督學習，生成融合圖像模型；訓練所述融合圖像模型，在訓練過程中利用損失函數不斷進行反向傳播迭代，更新學習內容，所述損失函數是基于所述權重塊優化梯度；本申請可以在現有的公開紅外光和可見光圖像數據集上進行融合操作，融合出來的結果可以有效的提取紅外光圖像邊緣信息和可見光圖像紋理細節，二者進行結合后形成更符合人眼視覺效果的融合圖像。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于殘差密集網絡和梯度損失的紅外光與可見光圖像融合方法。

背景技術

圖像融合在計算機視覺中占有舉足輕重的地位，它從不同的輸入圖像中提取關鍵信息，將它們合成在一起，并輸出具有更好視覺效果的融合圖像。紅外光與可見光圖像融合是圖像融合的一個重要分支。紅外傳感器可以對物體進行全天候監測，并通過物體發出的熱輻射產生紅外圖像，在各種環境下對物體的輪廓具有優異的性能。然而，紅外圖像的紋理細節較差，分辨率較低?？梢姽鈭D像具有豐富的紋理信息和較高的空間分辨率，能夠反映被檢測對象的真實環境，適應人類視覺系統。但在惡劣天氣或環境下，其目標檢測性能大大降低。因此，融合圖像兼具紅外圖像和可見光圖像的優點，廣泛應用于各領域中,如：自動駕駛領域、監控領域和顯著性檢測領域。

紅外和可見圖像融合的困難在于如何從兩幅源圖像中提取各自突出的特征，以及如何設計合適的融合方法，以生成融合了兩者重要信息的融合圖像。在這方面，已經提出了很多方法，分為兩個分支：傳統的融合方法和基于深度學習的方法。

傳統的圖像融合方法使用多尺度變換(MST)、稀疏表示(SR)、混合模型和其他方法。這些方法能夠準確提取特征信息，但需要復雜的矩陣運算，邊緣模糊問題仍然存在。在最近的研究中，基于深度學習的方法：DeepFuse、SESF Fuse和Attention FGAN可以改進傳統方法的缺點，但也有一些局限性。首先，深度學習網絡通常直接從前一卷積層提取特征映射，忽略全局信息，導致融合結果質量低下。其次，一些方法沒有采用端到端模型，而是采用帶融合策略的編碼器-解碼器模型。過于簡單的融合機制可能會使圖像邊緣不清晰。最后，損失函數的設計也會影響網絡訓練的結果。如果沒有為網絡訓練選擇合適的損失函數，損失函數的值收斂速度可能會減慢，訓練速度可能會降低。

發明內容

針對現有技術存在上述問題，本申請提供一種基于殘差密集網絡和梯度損失的紅外光與可見光圖像融合方法，其將淺層特征信息和深層特征信息結合起來以生成效果很好的融合圖像。

為實現上述目的，本申請的技術方案為：一種基于殘差密集網絡和梯度損失的紅外光與可見光圖像融合方法，包括：

將紅外光圖像和可見光圖像放入預先訓練好的VGG-16網絡中進行參數提取，對提取到的特征圖值進行標準化和歸一化處理得到權重塊；

再將紅外光圖像和可見光圖像放入網絡模型中進行端到端的無監督學習，生成融合圖像模型；

訓練所述融合圖像模型，在訓練過程中利用損失函數不斷進行反向傳播迭代，更新學習內容，所述損失函數是基于所述權重塊優化梯度；

通過訓練后的融合圖像模型進行圖像融合任務。

進一步的，將紅外光圖像和可見光圖像放入預先訓練好的VGG-16網絡中進行參數提取，具體為：

將紅外光圖像和可見光圖像分別放入預先訓練好的VGG-16網絡中提取特征圖，設定每個圖像在最大池化層前提取n個特征圖；對提取到的每個特征圖進行信息量化，公式如下：