[發明專利]一種新型的紅外和可見光圖像融合算法

有效

• 申請號: 202110294376.8
• 申請日: 2021-03-19
• 公開（公告）號: CN112950519B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 齊東浩;余毅;高策;張艷超;唐伯浩;徐嘉興;宋聰聰;劉晏瑞;張馨元
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 長春眾邦菁華知識產權代理有限公司 22214
• 代理人: 張偉

本發明涉及一種新型的紅外和可見光圖像融合算法，包括步驟：利用非下采樣輪廓變換對預配準的紅外圖像和可見光圖像分別進行多尺度變換，得到紅外圖像和可見光圖像分別對應的帶通分量和低通分量；利用深層神經網絡引導圖像深度特征的方法對低通分量進行融合，得到低通分量融合圖像；利用取模最大值的方法對帶通分量進行比較，選擇最大值作為帶通分量融合的權值，并根據權值對帶通分量進行融合，得到帶通分量融合圖像；將低通分量融合圖像和帶通分量融合圖像通過非下采樣輪廓變換的逆變換進行重建，得到最終的融合圖像。本發明可以最大程度的在結果圖像中保留源圖像的主要信息，并且不會在融合后的圖像中出現噪聲和偽影。

技術領域

本發明涉及圖像融合技術領域，特別是涉及一種新型的紅外和可見光圖像融合算法。

背景技術

在軍事、導航、隱形武器檢測和醫學成像等領域中通常需要借助多種不同的成像波段來監視目標場景，以便獲得更為全面的視覺理解。利用不同波段的相機來獲取圖像，可以提供豐富詳實的場景信息。然而在特定的觀測場景下，為了展示更多的細節信息，可以結合多個圖像波段的成像優勢。

圖像融合技術在過去的幾十年中得到了廣泛的研究。基于拉普拉斯和對比金字塔的多尺度變換的方法最早被提出用于圖像的分解，基于可操縱金字塔和期望最大化的圖像融合方法，這種方法優于傳統的可操縱金字塔的融合方法。同樣被應用于圖像分解的小波變換，具有與金字塔變換不同的系數不相關性，在圖像融合領域得到了廣泛應用。傳統的小波變換是通過一組濾波器將原圖像分解為一系列高、低通子圖像，其存在震蕩、移位方差和方向性不足等缺點，因此在融合圖像中會出現偽影。

輪廓變換是多方向多分辨率的圖像變換方法。然而輪廓變換存在由于金字塔濾波器組的上采樣和下采樣所引起的位移方差的問題。為了解決這一問題，提出了一種完全位移不變的非下采樣輪廓變換(Nonsubsampled contourlet transform，NSCT)。

NSCT是由Do and Vetterli提出的一種多尺度分解方法(“The contourlettransform:an efficient directional multiresolution image representation”,IEEETrans.Image Process.14(12)(2005)2091-2106.)，旨在克服輪廓變換所導致的位移不變和偽吉布斯現象(shift-invariant and pseudo-Gibbs phenomena)。輪廓變換之所以不具有平移不變性，其原因就在于拉普拉斯金字塔和方向濾波器組中存在的上采樣和下采樣操作。為了保留變換的方向和多尺度屬性，在非采樣輪廓變換中拉普拉斯金字塔被替換為非下采樣金字塔(Nonsubsampled pyramid structure，NSP)以保留多尺度屬性，方向濾波器組替換為非下采樣方向濾波器組(nonsubsampled directional filter banks，NSDFB)用于保留方向性。分解后的每個子帶圖像與原始圖像具有相同的大小。

如圖1所示，NSCT是一個具有多尺度、多方向和位移不變性的圖像分解策略。首先是采用NSP來對圖像進行多尺度分解，每一次NSP分解可以產生一個低通分量和帶通分量，迭代分解低通分量來獲取圖像中的主要信息。如果NSCT分解級別為x，則原圖像可以被分解為1個低通分量和x個帶通分量。然后利用NSDFB將每個尺度上的帶通分量在不同方向上分解，從而產生與源圖像大小相同的方向子帶，有利于圖像的融合。在圖像融合應用中，NSCT方法可以有效的保留原始圖像的特征，表現出了非常好的分解性能(“The nonsubsampledcontourlet transform:theory,design,and applications”[J],IEEE Trans.ImageProcess.15(10)(2006)3089.)。NSCT因其圖像分解優勢被用在圖像融合的研究中，但是在結果中出現了較多的人工噪聲。