[發明專利]基于WSN-LatLRR的紅外和可見光圖像融合方法

在審

• 申請號: 202110537569.1
• 申請日: 2021-05-17
• 公開（公告）號: CN113362281A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 趙遼英;潘巧英;厲小潤
• 申請（專利權）人: 杭州電子科技大學;浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/50;G06F17/16
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種基于WSN?LatLRR的紅外和可見光圖像融合方法。本發明對可見光圖像和紅外圖像進行預處理，通過多級加權schattenp?范數潛在低秩表示，分別分解為一個低秩部分和多個顯著部分，對分解后的低秩部分重構為基礎圖像并進行融合，得到融合后的基礎圖像，對每對顯著部分分別融合后將同級顯著部分重構為融合后的顯著圖像，最后，融合后的基礎圖像與融合后的多級顯著圖像相加，得到最終的融合圖像。通過本發明融合得到的融合結果細節信息豐富，相比于原來的低照度圖像，場景目標更加清晰，圖像的對比度提升。

技術領域

本發明涉及圖像融合這一應用領域，尤其涉及一種基于 WSN-LatLRR的紅外和可見光圖像融合方法。

背景技術

由于成像原理的不同，可見光圖像通過反射光譜成像，具有較高的空間分辨率和豐富的背景信息，但易受光照或者天氣條件影響，紅外傳感器通過熱輻射成像，受光照或者天氣條件影響小，圖像比較穩定，但往往缺乏足夠的場景背景細節信息。將紅外與弱可見光圖像進行融合，能產生出更適合人眼觀察或計算機視覺任務的合成圖像，因此，紅外與可見光圖像融合技術在軍事偵察、醫療診斷及人工智能等領域有著良好的應用前景。

目前紅外與可見光圖像融合的算法很多，總的來說可以概括為三類：基于空間域的方法、基于變換域的方法和基于深度學習的方法。基于空間域的圖像融合方法是指直接在空間域上對源圖像進行操作從而得到融合圖像的方法，主要有加權平均法和主成分分析法等，這類方法在運算速度上占據一定的優勢，但是會造成源圖像細節信息的丟失。基于變換域的圖像融合方法是圖像融合領域的一個研究熱點，主要有基于小波變換的方法、基于金字塔變換的方法、基于輪廓波變換的方法等。近年來隨著深度學習技術的發展，基于卷積神經網絡和脈沖耦合神經網絡的圖像融合方法被廣泛研究，這類融合方法需要預先進行網絡模型訓練，然后再實現圖像特征提取和融合，融合性能受參數的影響較大，且計算量較大。采用稀疏表示的方法能夠有效克服多尺度變換的不足，達到較好的融合性能。針對低照度圖像，采用潛在低秩表示方法(LatLRR)將圖像進行多層次分解，可以提取源圖像中全局結構信息和局部結構信息，融合圖像細節信息豐富，清晰度高，具有良好的可視性。但是，LatLRR中用到的核函數是所有奇異值之和，當奇異值特別大時對秩函數的逼近易產生偏差。加權schatten p-范數代替核函數，通過調節p值，能更精確地逼近秩函數。

發明內容

針對當前可見光和紅外圖像融合方法的不足，本發明提供一種基于WSN-LatLRR的紅外和可見光圖像融合方法。本發明能夠充分利用可見光和紅外圖像的低秩先驗，提高融合效果。

本發明采用的技術方案如下：

基于WSN-LatLRR的紅外和可見光圖像融合方法，其特征包括以下步驟：

步驟1、對可見光圖像I₁和紅外圖像I₂進行預處理：處理為低秩分解的數據矩陣P(I₁)和P(I₂)，所述的P(I_r)(r＝1，2)表示將圖像I_r均分為大小為n×n的M個子塊，并把每個圖像子塊重排為一列數據；

步驟2、可見光圖像數據P(I₁)通過k級加權schatten p-范數潛在低秩分解，得到k個顯著圖像和一個低秩圖像紅外圖像數據P(I₂)通過k級加權schatten p-范數潛在低秩分解，得到k個顯著圖像和一個低秩圖像所述(r＝1，2)表示P(I_r)(r＝1，2)第j級分解后得到的顯著部分(共M列)；表示將中每列數據重排為n×n的矩陣后重構為整個顯著圖的操作。

所述加權schattenp-范數潛在低秩分解即求如下優化問題：