[發明專利]基于分離表征的紅外可見光圖像融合方法

有效

• 申請號: 202110921055.6
• 申請日: 2021-08-11
• 公開（公告）號: CN113706407B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 馬佳義;馬泳;梅曉光;張燦
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

本發明提出了一種基于分離表征的紅外可見光圖像融合方法。本發明設計了基于神經網絡的分離表征以將源圖像客觀地分解為共有信息和特有信息，對分解出的兩部分分別使用特定的融合策略；設計了權重編碼器以分解出特有信息為輸入，以融合圖像的客觀定量指標為損失函數優化編碼器的參數，依據特有信息自適應地生成對應的通道權級。本發明提出的方法域領先水平的紅外與可見光算法相比，具有更豐富的場景信息、更強的對比度，視覺效果也更好。

技術領域

本發明涉及圖像增強技術領域，具體地說，本發明涉及一種基于分離表征的紅外可見光圖像融合算法的技術方案。

背景技術

為實現紅外與可見光圖像融合，業界提出了多種融合算法，根據原理及算法類型，這些融合算法可以分為傳統算法和基于深度學習的算法。傳統融合算法主要包括基于多尺度變換的融合算法、基于稀疏表達的融合算法、基于子空間的融合算法、混合融合方法以及其他的融合算法，這些算法都旨在將源圖像分解為多維特征或將源圖像映射到其他空間，然后在分解結果上運用融合策略進行融合。但對多模圖像采用相同的分解方式是不恰當的，人工設計的分解方式導致了融合效率的減退；基于深度學習的融合算法缺乏真值融合圖像，算法往往依賴自監督對網絡進行訓練。通過人為觀察來定義源圖像中的特有屬性，讓融合圖像盡可能保留源圖像的人為定義的屬性，以此作為約束來訓練融合網絡。例如FusionGAN、ResNetFusion、DDcGAN和AttentionFGAN以像素強度作為紅外圖像的特有屬性并以梯度作為可見光圖像的特有屬性。然而對于紅外圖像中熱輻射屬性多變(紋理豐富)而可見光圖像中平滑的區域，此類約束會導致融合圖像中場景信息的丟失。在另一些方法中，損失函數約束融合圖像與源圖像保留更高的結構相似性，或者約束融合圖像保留源圖像中更高頻率的信息。然而，以結構或者高頻信息作為源圖像的特征信息會降低融合圖像中目標的顯著性，不利于人眼對目標的快速定位于捕捉。此外，在傳統融合算法或者非端到端的深度學習融合算法中分解結果的多樣性和特征的難解釋性，導致目前融合策略仍停留于平均、相加、最大值等幾種簡單的方法，融合策略的局限性也限制了融合性能的提升。

發明內容

針對現有的技術缺陷，本發明提出了一種基于分離表征紅外與可見光圖像融合的技術方案。經本發明增強得到的紅外圖像，可以在更低的自由度上實現更多的信息保留及呈現較高的對比度及視覺效果。

本發明的技術方案包括以下步驟：

步驟1，建立紅外和可見光圖像的分離表征網絡模型，所述分離表征網絡模型包括分離表征子模型和信息融合子模型，其中分離表征子模型包括信息編碼器和生成器；

首先，紅外和可見光圖像通過分離表征子模型中的信息編碼器分解為紅外圖像共有信息、可見光圖像共有信息、紅外與圖像特有信息及可見光圖像特有信息；其次，通過信息融合子模型將紅外與可見光圖像的共有信息生成融合后的共有信息，將紅外與圖像特有信息和可見光圖像特有信息生成融合后的特有信息；最后，將融合后的共有信息和融合后的特有信息輸入分離表征子模型的生成器，得到融合圖像；

步驟2，分別對分離表征子模型和信息融合子模型建立損失函數，訓練分離表征網絡模型，得到優化后的分離表征子模型和信息融合子模型；最后將待融合的紅外和可見光圖像輸入到優化后的分離表征子模型和信息融合子模型中得到最終的融合圖像。

進一步的，所述信息編碼器包括紅外圖像域R的共有信息編碼器可見光圖像域V的共有信息編碼器紅外圖像域R的紅外特有信息編碼器和可見光圖像域V的可見光特有信息編碼器信息編碼器的具體處理過程如下；