[發明專利]一種基于NSCT和結構張量的紅外與可見光圖像融合方法

有效

• 申請號: 201910373915.X
• 申請日: 2019-05-07
• 公開（公告）號: CN110111290B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 周寧;徐莉娟;徐煜偉;傅志中;李曉峰;徐進;舒暢
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 甘茂

1.一種基于NSCT和結構張量的紅外與可見光圖像融合方法，包括以下步驟：

步驟1：將輸入紅外圖像和可見光圖像進行基于非下采樣輪廓波變換的融合，得到預融合的非下采樣輪廓波變換分解系數C_F；

具體過程為：

1-1.對紅外圖像進行魯棒性主成分分析，得到紅外圖像的稀疏矩陣，然后將其歸一化到[0,1]之間，作為權重矩陣記為ω(x,y)；

1-2.對紅外圖像和可見光圖像分別進行非下采樣輪廓波變換，其中，拉普拉斯尺度濾波器為“pyrexc”，方向濾波器為“cd”，分解層數為{2,2,3,3}；得到紅外圖像的低頻分解系數和高頻分解系數可見光圖像的低頻分解系數和高頻分解系數其中表示k圖像源的第l層r方向上的高頻分量；

1-3.對低頻部分，利用權重矩陣ω(x,y)作為權重進行融合；通過這個權重可以得到預融合的低頻子帶系數

1-4.對高頻部分，首先計算高頻子帶系數的局部顯著性，選取局部顯著性較大的高頻子帶系數作為融合圖像的高頻子帶系數

其中，表示局部顯著性：

其中，Θ表示大小為3×3的窗口；

步驟2：將輸入紅外圖像和可見光圖采用基于梯度相似性濾波的結構張量的融合方法進行融合，得到預融合的梯度場H_F；

具體過程為：

2-1.將紅外圖像與可見光圖像轉換到梯度域，得到它們的梯度場，然后進行平均結構張量融合，得到初步融合梯度場；

2-2.計算源圖像的8方向生長步長矩陣L，其中，點x處的8方向生長步長定義為：

l_x(i)＝minλ

其中，為單位長度的向量，t為預設閾值，表示對源圖像進行梯度運算；

2-3.計算梯度相似性：

其中，η為預設常量；L_fused為通過初步融合梯度場得到的生長步長矩陣，L_k為通過源圖像得到的生長步長矩陣；

2-4.計算梯度歸屬矩陣為：

其中，表示對初步融合圖像進行梯度運算；

2-5.計算所使用的濾波器參數：

其中，Q為濾波鄰域，x是濾波的目標位置，為x歸屬圖像源的梯度場；u為濾波鄰域Q中的任意位置，w(u)為濾波權重；

w(u)的公式如下：

w_dis(u)＝a·||u-x||₂

w_dir(u)＝c·Step(cos(θ))·cos(θ)

其中，σ、a、b、c均為預設常量，Step為階躍函數；

2-6.根據上述濾波器參數，設定濾波器尺寸，得到濾波器；并采用濾波器對初步融合梯度場進行濾波，得到預融合梯度場H_F；

步驟3：計算梯度算子NSCT分解算子ψ；

步驟4：建立優化模型：

其中，β為預設常量，I_F表示待解融合圖像；

步驟5：利用共軛梯度法求解優化模型，得到融合圖像I_F。