[發明專利]一種基于區域能量和方差的稀疏融合方法

有效

• 申請號: 201710898139.6
• 申請日: 2017-09-28
• 公開（公告）號: CN107730482B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 陶冰潔;黃景雨;許曉偉;王酉祥
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/62
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 徐金瓊;劉東

本發明公開了一種基于區域能量和方差的稀疏融合方法，屬于圖像處理領域的圖像融合部分。本發明重點針對紅外和可見光圖像，使用基于區域能量和方差的融合規則，對不同源圖像的稀疏系數進行融合處理，并通過稀疏重構，得到最終的融合圖像。通過對多幅已配準的紅外和可見光圖像測試表明，該方法較與傳統方法與一般的稀疏融合算法，在熵、互信息、邊緣保持度、平均梯度等評價指標方面有明顯的優勢。該方法利用區域能量和方差對圖像塊進行分類，得以選取更適合的規則進行融合處理，改善了單一融合規則沒有充分考慮圖像信息的缺陷，所以本發明提出的方法具有較好的融合效果。

技術領域

一種基于區域能量和方差的稀疏融合方法，用于實現紅外和可見光圖像的像素級融合，屬于圖像處理領域。

背景技術

圖像融合技術主要通過對不同源圖像的綜合處理來現對場景信息更豐富的表達。針對紅外圖像和可見光圖像，融合技術不僅可以彌補可見光成像時的不足，在黑夜、煙霧等極端條件下實現全天候監控，而且可以在人口密集場景下利用可見光成像進行目標外部特性分析，利用紅外成像對目標進行內部分析，從而實現人性化的監控。因此在軍事和智能監控等領域，紅外與可見光圖像融合技術有很高的研究價值。

圖像融合算法性能的好壞主要體現在融合圖像對源圖像結構、細節信息的保留程度以及融合圖像包含信息的豐富程度。通常可以通過互信息、交叉熵、結構相似度等指標來表征融合算法性能的優劣，另一方面，運行時間也是表征算法性能優劣的重要指標。

目前，常用的圖像融合算法有基于主成分分析的圖像融合、基于離散小波變換的圖像融合、基于非下采樣多尺度變換的圖像融合以及基于稀疏表示的圖像融合等一系列算法。在融合過程中，稀疏表示理論的引入不僅可以保證得到的數據包含了紅外和可見光圖像的完整信息，而且可以降低計算復雜度和提高傳輸效率，為后續處理和應用提供更豐富的信息支撐。

發明內容

本發明的目的在于：為解決現有的圖像融合算法對原圖像結構、細節信息的保留程度不夠好以及融合圖像包含信息的豐富程度不高的問題。可見光圖像細節豐富，結構清晰但是容易受光線強弱的影響導致感興趣目標丟失，而紅外圖像可以彌補這一缺陷，本發明基于表征原圖像清晰度和紅外輻射強弱的區域能量和方差來制定融合規則，可以很好地保留可見光圖像中的細節信息和紅外圖像中有強紅外輻射的目標的結構信息，取得較好的融合效果。本發明提供一種基于區域能量和方差的稀疏融合方法。

本發明采用的技術方案如下：

步驟1：讀入紅外圖像r(x,y)和可見光圖像v(x,y)，根據滑塊大小s和滑動步長l對其進行邊界擴充得到紅外圖像Ar1(x,y)和可見光圖像Av1(x,y)，根據紅外圖像Ar1(x,y)大小構造一個行列相同的融合圖像矩陣Y，并初始化矩陣各元素為零；

步驟2：對紅外圖像r(x,y)和可見光圖像v(x,y)構造的訓練集A進行字典訓練得到過完備字典D；

步驟3：根據s和l對紅外圖像Ar1(x,y)和紅外圖像Av1(x,y)按照從左到右，從上到下分別依次進行滑窗處理，每次得到的圖像塊s1,s2按行展開成列向量c1,c2；

步驟4：在過完備字典D下對列向量c1，c2進行稀疏分解并得到各自的稀疏系數；

步驟5：根據稀疏系數對應的圖像塊的區域能量和方差，若可見光圖像的區域能量和方差均大于紅外圖像的區域能量和方差，融合系數取可見光圖像的稀疏系數，若紅外圖像的區域能量和方差均大于可見光圖像的區域能量和方差，融合系數取紅外圖像的稀疏系數，其余情況融合系數由基于方差的權重來加權融合得到；得到的融合系數在過完備字典D下進行稀疏重構得到列向量c3，再將其轉換為為圖像塊，疊加到融合圖像矩陣Y對應的位置中；

步驟6：迭代步驟3、步驟4和步驟5，直到紅外和可見光圖像滑窗移動到最后一行和最后一列；再將得到的融合圖像矩陣Y依據各自對應位置的疊加次數進行平均處理，經過裁剪得到最終的融合圖像F。