[發(fā)明專利]基于多尺度低秩矩陣分解的紅外與可見光圖像融合方法

有效

• 申請?zhí)枺?/td>: 202010119950.1
• 申請日: 2020-02-26
• 公開（公告）號: CN111462025B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設計）人: 孟祥超;陳潮起;邵楓;符冉迪
• 申請（專利權）人: 寧波大學
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 周玨

本發(fā)明公開了一種基于多尺度低秩矩陣分解的紅外與可見光圖像融合方法，其基于多尺度低秩矩陣分解將預處理后的紅外圖像和預處理后的可見光圖像分解為多層次局部低秩圖和全局低秩圖兩類，并根據(jù)各分解圖像特點，針對性設計最優(yōu)融合規(guī)則，得到的最終融合圖像在不引入人工偽影和斑塊的同時，能夠保留原圖的細節(jié)信息、增強熱輻射顯著目標，具有較好的對比度，有利于后續(xù)目標識別、檢測等應用的開展。

技術領域

本發(fā)明涉及一種圖像融合技術，尤其是涉及一種基于多尺度低秩矩陣分解的紅外與可見光圖像融合方法。

背景技術

紅外圖像與可見光圖像在軍事、工程、科研以及日常生活等各方面都有著廣泛地應用。其中，紅外傳感器成像基于物體的熱輻射特性，具有較強的云霧穿透能力，可在復雜環(huán)境下對具有較強熱輻射特性的目標進行有效成像，但紅外傳感器成像對物體的細節(jié)表現(xiàn)能力差，往往表現(xiàn)為圖像空間分辨率低、細節(jié)紋理少、圖像模糊等特點。可見光傳感器成像基于物體對光的反射率特性，具有圖像空間分辨率高、細節(jié)紋理豐富、圖像相對清晰等特點，但可見光傳感器成像受光照條件影響較大，且極易受天氣、云霧遮擋等的影響。紅外/可見光圖像融合可集成兩者優(yōu)勢，彌補單一傳感器成像的不足，實現(xiàn)對成像場景全面精確地表達。

目前，紅外/可見光圖像融合方法主要有：基于多尺度分解的融合方法、基于稀疏表示的融合方法、基于神經網絡的融合方法等。基于多尺度分解的融合方法應用較為廣泛，為紅外/可見光圖像融合中的研究熱點，其基本思想為：首先，利用金字塔、小波變換等對紅外圖像和可見光圖像分別進行低頻和高頻信息的分解，得到紅外圖像和可見光圖像各自的低頻和高頻分量；其次，設計合理融合規(guī)則對紅外圖像的低頻分量和可見光圖像的低頻分量進行融合、對紅外圖像的高頻分量和可見光圖像的高頻分量進行融合；最后，利用融合后的低頻分量和融合后的高頻分量重建得到最終的融合圖像。基于多尺度分解的融合方法主要包括基于金字塔分解的融合方法、基于小波變換的融合方法、基于曲波變換的融合方法、基于輪廓波變換的融合方法、基于引導濾波變換的融合方法等。此外，Bavirisetti等人提出了一種基于二尺度分解和顯著性檢測的融合方法，其利用均值濾波和中值濾波提取基礎層和細節(jié)層，并利用視覺顯著性獲得權重圖。此外，低秩分解于近幾年引入紅外/可見光圖像融合領域，如Li等人提出的基于低秩分解的紅外/可見光圖像融合方法。現(xiàn)階段使用的低秩分解模型大多基于Liu提出的低秩表示LRR(low-rank?representation)理論，但是這種表示方法不能很好地提取區(qū)域結構信息。因此，2011年Liu又提出潛在低秩表示LatLRR(Latent?low-rank?representation)理論，這種表示方法能夠在一定程度上從原始數(shù)據(jù)中獲取全局和局部的結構信息。Li在LatLRR理論的基礎上提出了基于LatLRR理論的紅外與可見光圖像融合方法，一定程度上提高了融合精度。

上述基于多尺度分解的紅外與可見光圖像融合方法往往采用了兩層分解方式，即通過一種低通濾波器得到基礎層低頻信息，再通過與原圖相減得到細節(jié)層，然而，上述兩層分解方式對紅外圖像和可見光圖像中的空間細節(jié)信息提取不充分。盡管LatLRR方法在一定程度上分解提取了原圖的顯著性區(qū)域和低秩區(qū)域，但分解得到的顯著性圖和低秩圖存在分解不徹底且互相包含，導致融合結果往往存在對比度低、細節(jié)與紋理不夠清晰、熱紅外目標不明顯等問題。

發(fā)明內容

本發(fā)明所要解決的技術問題是提供一種基于多尺度低秩矩陣分解的紅外與可見光圖像融合方法，其充分考慮到紅外圖像和可見光圖像存在的局部相關性特點和顯著性目標的多尺度特點，引入了多尺度低秩矩陣分解技術，并對得到的分解圖像針對性地設計最優(yōu)融合規(guī)則，提高了融合對比度、細節(jié)與紋理的清晰度、熱紅外目標的明顯程度，從而進一步提升了融合效果和精度。

本發(fā)明解決上述技術問題所采用的技術方案為：一種基于多尺度低秩矩陣分解的紅外與可見光圖像融合方法，其特征在于包括以下步驟：