[發明專利]基于潛在低秩表示嵌套滾動引導圖像濾波的圖像融合方法

有效

• 申請號: 202110294273.1
• 申請日: 2021-03-19
• 公開（公告）號: CN112950518B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 宋聰聰;余毅;高策;張艷超;唐伯浩;徐嘉興;齊東浩;劉晏瑞;張馨元
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00
• 代理公司: 長春眾邦菁華知識產權代理有限公司 22214
• 代理人: 張偉

1.一種基于潛在低秩表示嵌套滾動引導圖像濾波的圖像融合方法，其特征在于，包括以下步驟：

步驟1：利用潛在低秩表示將待融合的紅外圖像和可見光圖像分別進行分解，得到所述紅外圖像的低秩子層IR_lrr和顯著性子層IR_sal以及所述可見光圖像的低秩子層VIS_lrr和顯著性子層VIS_sal；

步驟2：利用滾動引導圖像濾波分別對低秩子層IR_lrr和低秩子層VIS_lrr進行多尺度分解，得到對應的多個細節層圖像；

將低秩子層IR_lrr對應的多個細節層圖像進行相加處理后得到圖像I_{D_IR}，將低秩子層VIS_lrr對應的多個細節層圖像進行相加處理后得到圖像I_{D_VIS}，再將圖像I_{D_IR}和圖像I_{D_VIS}輸入到CNN網絡中，得到相應的權重映射；

根據所述權重映射對圖像I_{D_IR}和圖像I_{D_VIS}進行加權合并，得到增強圖層D_f；

其中，利用滾動引導圖像濾波分別對低秩子層IR_lrr和低秩子層VIS_lrr進行多尺度分解，得到對應的多個細節層圖像的過程包括以下步驟：

按照如下的基于滾動引導圖像濾波的多尺度分解公式分別對低秩子層IR_lrr和低秩子層VIS_lrr進行多尺度分解：

I_D^j＝I_B^j-1-I_B^j＝I_B^j-1-RGIF(I_B^j-1,σ_s^j,σ_r,H)，j＝1,2...,N (2)

其中，I_D^j為多尺度分解后的第j層的細節層圖像，I_B^j為多尺度分解第j層的基礎層圖像，I_B⁰為未經分解的首次輸入圖像，RGIF(·)表示滾動引導圖像濾波的迭代引導濾波算子，為第j層的正則化參數，σ_r為濾波窗口半徑，H為迭代次數，N為多尺度分解的層數；

滾動引導圖像濾波的迭代引導濾波算子RGIF(·)的計算過程如下：

利用高斯濾波器對當前的輸入圖像I進行小結構平滑，并且高斯濾波器的輸出圖像G作為下一步的引導圖像；

為保證引導圖像G與引導圖像濾波后的輸出圖像之間的局部線性關系，求解輸入圖像I與引導圖像濾波后的輸出圖像q之間的成本函數的最優解，確定最優線性系數，并根據所述最優線性系數得到引導圖像濾波后的輸出圖像q，該圖像將作為下一步引導圖像濾波的引導圖像，此時，輸入圖像仍然為I，反復迭代H次后得到經過滾動引導圖像濾波的基礎層圖像I_B＝RGIF(I,σ_s,σ_r,H)；

步驟3：利用基于改進的視覺顯著映射的加權引導圖像濾波算法對低秩子層IR_lrr和低秩子層VIS_lrr進行融合，得到低秩子層融合圖像B_f；步驟3包括以下步驟：

步驟31：確定低秩子層IR_lrr和低秩子層VIS_lrr中每個像素的顯著性值，得到低秩子層IR_lrr和低秩子層VIS_lrr分別對應的視覺顯著性映射圖；

步驟32：將步驟31得到的兩幅視覺顯著性映射圖進行逐像素的顯著性值大小比較，顯著性值較大的像素的初始權重映射值設置為1，反之設置為0，完成全部像素的比較之后得到對應的初始權重映射圖；

步驟33：分別以低秩子層IR_lrr和低秩子層VIS_lrr作為引導圖像，以其對應的初始權重映射圖作為輸入圖像，利用引導圖像濾波算法分別對初始權重映射圖進行優化，得到對應的最終權重圖；

步驟34：利用逐像素加權融合策略對步驟33得到的最終權重圖進行融合，融合后得到低秩子層融合圖像B_f；

步驟4：利用基于金字塔分解的區域能量特征自適應加權融合方法對顯著性子層IR_sal和顯著性子層VIS_sal進行融合，得到顯著性子層融合圖像S_f；步驟4包括以下步驟：

步驟41：分別對顯著性子層IR_sal和顯著性子層VIS_sal進行拉普拉斯金字塔分解，得到對應的分解層L_A^l和分解層L_B^l；

步驟42：分別計算分解層L_A^l和分解層L_B^l中以某一像素(m,n)為中心的局部能量特征，得到對應的局部能量特征E_A^l和局部能量特征E_B^l；

步驟43：計算局部能量特征E_A^l和局部能量特征E_B^l之間的能量相似度M_AB^l(m,n)，并將能量相似度M_AB^l(m,n)與閾值th進行比較以及對局部能量特征E_A^l和局部能量特征E_B^l進行比較，根據比較結果確定融合系數；

步驟44：根據步驟43確定的融合系數對分解層L_A^l和分解層L_B^l進行加權融合，得到分解層融合圖像L_F^l(m,n)，最后通過拉普拉斯逆變換重建顯著性子層融合圖像S_f；

步驟5：將增強圖層D_f、低秩子層融合圖像B_f和顯著性子層融合圖像S_f進行相加重構，得到最終的融合圖像F＝B_f+D_f+S_f。