[發明專利]一種總變分和結構張量的圖像融合方法及裝置

有效

• 申請號: 201811055297.6
• 申請日: 2018-09-11
• 公開（公告）號: CN109345496B
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 程博陽;金龍旭;李國寧
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/33
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 曹衛良

本發明提出一種總變分和結構張量的圖像融合方法及裝置，總變分TV模型利用圖像的結構張量獲取融合圖像的目標梯度場，在目標梯度場內部利用Soft?Max函數柔化梯度場的權重，將融合梯度場放入到TV模型的正則項內，保障融合圖像的梯度場與目標梯度場接近，利用分裂Bregman算法求解全新的TV模型，獲取最終的融合圖像，通過采用本方案可以更好地表達圖像的特征，將微光的紋理信息與紅外圖像的顯著性特征完美結合，取得較好的融合效果，可以較完整地保留了豐富的紋理信息和細節信息，并且圖像過渡自然。

技術領域

本發明涉及圖像融合領域，特別涉及一種總變分和結構張量的圖像融合方法及裝置。

背景技術

圖像融合作為信息融合的一門分支，是一門包含信號處理、圖像處理、計算機技術、圖像探測器技術等多種領域的綜合高新技術。圖像融合對某一場景獲取的多幅圖像信息加以提取，最終將兩幅或多幅包含多樣、冗余信息的圖像合成為一幅含有更豐富信息的新圖像。融合圖像克服了單幅圖像在空間分辨率、物理屬性、時間分辨率以及光譜信息等方面的局限性，能更好地為重要目標的定位、識別和理解提供支撐。

紅外(IR)與可見光(VI)傳感器之間的信息融合是目前應用最多，同時也是最具有現實意義的融合方式。通過將可見光的紋理細節信息與紅外熱輻射目標的顯著信息相結合，有利于在隱藏、偽裝和迷惑的情況下更快、更精確地探測目標。針對IR與VI圖像之間的融合，最為常見的就是加權平均法。該方法只是將源圖像之間的亮度進行空間疊加，容易導致融合圖像解析度下降，并且丟失很多紋理細節信息。為了能夠獲得更優良的融合效果，使融合圖像符合人眼視覺特性，人們相繼提出了新的融合方法。總變分法(TV)是一種新穎的融合方法，其獨特之處在于將融合問題轉化為圖像優化和重建問題。由于其內部參數較少，并且能夠完整地保持圖像局部特征，因此目前受到了學者們的廣泛關注。TV模型在解決融合問題時，往往在正則項內約束融合圖像與給定VI圖像具有相似的梯度特征，然而包含在IR圖像的紋理信息卻被忽略，導致融合圖像出邊緣細節缺失的問題。為此，我們希望可以直接獲取融合圖像的梯度場，將其放入到正則項內，從而保證源圖像內部的紋理梯度信息較為全面的轉移到融合圖像中。

作為另一個重要的分支，基于梯度域的圖像融合方法也得到了的廣泛應用。人類視覺對圖像局部細節的變化非常敏感，而圖像局部細節實際上就是圖像梯度。在梯度域內對圖像進行處理，可以使融合圖像保留輸入圖像的重要特征。文獻《G.Piella,Imagefusion for enhanced visualization:a variational approach[J],Int.J.Comput.Vision 83(1)(2009)1-11.》等人采用結構張量來獲取融合圖像的目標梯度場，并從目標梯度場中重建融合圖像。該方法為本文的研究提供了一定的思路，我們可以將獲取的目標梯度場放入到TV模型的正則項內，從而取代原有的VI圖像梯度場。通過全新的約束關系，使融合圖像的梯度場最大程度接近于目標梯度場，抑制了紋理細節的丟失。除此外，鑒于紅外熱像圖與可見光圖像的較大光譜差異性，單一地使用加權法來設計目標梯度場的光譜梯度權重，會導致融合結果出現光暈偽影現象。除此外，針對TV模型的求解問題，學者們一般采用梯度下降法。然而，利用該方法獲取的歐拉-拉格朗日方程往往具有非線性和不可微性，并且由于其最小化速度較慢，會影響求解速度。

發明內容

本發明實施例提供了一種總變分和結構張量的圖像融合方法及裝置，可以彌補兩種源圖像較大的光譜差異性，同時較完整地保留了豐富的紋理信息和細節信息，并且圖像過渡自然。

第一方面，本發明提供一種總變分和結構張量的圖像融合方法，所述方法包括：

獲取來自同一場景并進行圖像配準的紅外圖像和可見光圖像；

利用紅外圖像和可見光圖像的結構張量獲取融合圖像的目標梯度場；

利用Soft-Max函數柔化所述目標梯度場的權重；

將融合梯度場放入總變分TV模型的正則項內，以使得融合圖像的融合梯度場和目標梯度場接近；