[發明專利]基于潛在低秩表示與NSST的圖像融合方法及裝置

在審

• 申請號: 201811055348.5
• 申請日: 2018-09-11
• 公開（公告）號: CN109242813A
• 公開（公告）日: 2019-01-18
• 發明（設計）人: 程博陽;金龍旭;李國寧
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 曹衛良

本發明提供基于潛在低秩表示與NSST的圖像融合方法及裝置，通過含有小尺寸剪切波濾波器的NSST將源圖像進行多尺度、多方向分解。由于NSST在分解階段去除了采樣操作，使其具備了平移不變性；同時在方向局部化階段，局部化小尺寸剪切濾波器能夠避免頻譜混疊現象，使圖像分解與重建效果更加好。針對低頻分量，采用基于LatLRR顯著特征提取的自適應加權融合，LatLRR能夠從數據中魯棒地提取圖像的顯著性特征，同時對噪聲更加魯棒，因此可以對圖像中顯著性目標及區域較為精準地識別；針對高頻分量，由于平均梯度代表圖像灰度值的變化，能夠反映圖像邊緣、紋理的細節，因此采用平均梯度算子進行處理，可以更好表達圖像的特征，取得較好的融合效果。

技術領域

本發明涉及圖像融合領域，特別涉及一種基于潛在低秩表示與NSST的圖像融合方法及裝置

背景技術

紅外和可見光圖像融合技術的開發很大程度上是為了滿足現代軍用偵查技術的發展，其中可見光圖像是反射圖像，高頻成分多，在一定照度下能反映場景的細節，但照度不佳時的可見光圖像(即微光圖像)的對比度較低；紅外圖像是輻射圖像，灰度由目標與背景的溫差決定，不能反映真實的場景。單獨使用可見光或紅外圖像均存在不足之處，對于這兩種具有互補性的圖像，圖像融合技術能夠有效地綜合和發掘它們的特征信息，增強場景理解，突出目標，有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標。

目前針對紅外與可見光融合，學者們提出了許多方法，特別是針對像素級的IR和VI圖像融合。其中一些多尺度分析工具，例如Contourlet變換，非下采樣Contourlet變換(NSCT)，非下采樣剪切波變換(NSST)等，已經成功用于圖像融合領域。研究表明，NSST是目前分解速度最快、分解效果最為精細的MGA工具，它不僅在空間和頻域都具有良好的局部特性，而且采用局部化小尺寸剪切濾波器，能夠避免塊效應和弱化吉布斯振鈴現象，同時提高時域卷積計算效率，因此受到很多研究者的青睞。文獻《Adaptive fusion method ofvisible light and infrared images based on non-subsampled shearlet transformand fast non-negative matrix factorization[J]，Infrared Physics&Technology，2014，67：161–172》提出了一種采用NSST和快速非負矩陣分解(FNMF)相結合的融合方法，該算法利用非負矩陣指導低頻系數的融合，但融合的圖片亮度偏暗，而且丟失了許多可見光的紋理細節；文獻《A fusion algorithm for infrared and visible images based onsaliency analysis and non-subsampled Shearlet transform[J]，Infrared Physics&Technology，2015，73：286–297》提出一種基于顯著性探測和NSST相結合的方式，該方法利用顯著性檢測將紅外目標信息融入可將光圖像中，但是背景信息的融合效果有待改進；文獻《Visible and infrared image fusion using NSST and deep Boltzmann machine[J]，Optik，2018，157：334–342》提出一種基于深度玻爾茲曼機與NSST相結合的方法，其想法比較新穎，但是深度學習在圖像融合領域的應用尚未成熟，因此還有待改進；在文獻《Afusion algorithm for infrared and visible images based on RDU-PCNN and ICA-bases in NSST domain[J]，Infrared Physics&Technology，2016，79：183–190》將PCNN與NSST相結合處理IR與VI圖像融合，雖然PCNN具有仿生機制，但是融合圖像引入了偽像，并且具有朦朧的圖像邊緣；文獻《Technique for gray-scale visual light and infraredimage fusion based on non-subsampled shearlet transform，Infrared Physics&Technology，2014，63：110–118》提出一種NSST域內基于區域平均能量(RAE)和局部方向對比度(LDC)的融合框架，其時效性較好，但融合后的圖像丟失了一些重要的紅外顯著性信息。