[發(fā)明專利]一種基于結(jié)構(gòu)相似性與L2范數(shù)優(yōu)化的圖像融合方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211381620.5
• 申請(qǐng)日: 2022-11-07
• 公開（公告）號(hào): CN115619696A
• 公開（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 鄧月明;龍志亮
• 申請(qǐng)（專利權(quán)）人: 湖南師范大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06V10/40;G06V10/74
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于結(jié)構(gòu)相似性與L2范數(shù)優(yōu)化的圖像融合方法，該方法包括圖像分解、構(gòu)建權(quán)重圖、圖像預(yù)融合、計(jì)算結(jié)構(gòu)相似性、二次融合及重構(gòu)五部分。其核心思想是使用雙尺度分解分別將紅外與可見光圖像分解為基層和細(xì)節(jié)層，并分別計(jì)算紅外與可見光圖像的權(quán)重圖，然后將權(quán)重圖通過引導(dǎo)濾波得出權(quán)重系數(shù)，根據(jù)權(quán)重系數(shù)分別融合基層和細(xì)節(jié)層圖像，得到預(yù)融合圖像。通過分別計(jì)算預(yù)融合圖像與紅外和可見光圖像之間的結(jié)構(gòu)相似性，對(duì)圖像的基層采用基于L2范數(shù)優(yōu)化結(jié)構(gòu)相似性系數(shù)的方法進(jìn)行二次融合，圖像的細(xì)節(jié)層使用結(jié)構(gòu)相似性系數(shù)進(jìn)行二次融合，通過重構(gòu)圖像得到融合結(jié)果。本發(fā)明采用基于結(jié)構(gòu)相似性與L2范數(shù)優(yōu)化的方法，對(duì)基于引導(dǎo)濾波預(yù)融合的圖像實(shí)施二次融合，其網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，保留了源圖像中豐富而有用的基本信息，增強(qiáng)了預(yù)融合圖像的細(xì)節(jié)信息，使得融合結(jié)果更符合人們的視覺觀察系統(tǒng)，客觀評(píng)價(jià)也得以提高。

技術(shù)領(lǐng)域

本發(fā)明屬于紅外與可見光圖像處理領(lǐng)域，具體涉及一種基于結(jié)構(gòu)相似性與L2范數(shù)優(yōu)化的圖像融合方法。

背景技術(shù)

單一圖像不一定能反映圖像的完整信息，有時(shí)我們需要兩個(gè)或多個(gè)的相同場(chǎng)景的圖像，以達(dá)到更好的視覺理解，圖像融合是將源圖像中的互補(bǔ)或有用的信息組合到融合圖像中的一種技術(shù)。

可見光圖像含有豐富的背景和細(xì)節(jié)信息，符合人的視覺觀察系統(tǒng)，但在夜間或氣候不明朗的天氣反映的圖像信息較差；紅外圖像根據(jù)物體和環(huán)境的熱輻射差異成像，不受低能見度或惡劣天氣條件的影響，但其空間分辨率較低，反映的圖像細(xì)節(jié)較少。紅外圖像與可見光圖像進(jìn)行融合，既能結(jié)合紅外圖像中熱輻射信息，又能結(jié)合可見光圖像中細(xì)致的紋理信息，因此廣泛應(yīng)用于車載、夜間行駛、安防監(jiān)視、軍事等領(lǐng)域。

可見光與紅外光圖像融合主要分為傳統(tǒng)法和深度學(xué)習(xí)法，基于深度學(xué)習(xí)的方法在圖像融合領(lǐng)域有著巨大的研究前景，主要方法有自編碼器、CNN網(wǎng)絡(luò)、GNN網(wǎng)絡(luò)及Transformer等，基本原理是通過深度學(xué)習(xí)框架提取源圖像的多層特征，從而進(jìn)行特征融合和圖像重建，基于深度學(xué)習(xí)方法可以提取圖像的特征信息以及自動(dòng)學(xué)習(xí)融合規(guī)則，但目前大多數(shù)深度學(xué)習(xí)方法的框架較復(fù)雜、需要大量的訓(xùn)練數(shù)據(jù)，在融合過程中易出現(xiàn)特征提取不完整，易引入光暈、偽影等現(xiàn)象。

傳統(tǒng)方法主要包括多尺度變換、稀疏表示、顯著性，其中基于多尺度變換是一種最常用且效果明顯的圖像融合方法，基本原理是通過多尺度變換將圖像分解為多個(gè)尺度方向，每個(gè)尺度采用不同的融合策略進(jìn)行融合，最終通過相應(yīng)的逆變換重構(gòu)圖像。最常見的多尺度變換有金字塔變換、小波變化、曲波變換、非下采樣輪廓波變換、非下采樣剪切板變換等，基于多尺度變換的方法符合人類的視覺特征，但其中小波變換只具有有限的方向性，曲波變換易產(chǎn)生頻譜混疊效應(yīng)，且多尺度變換分解計(jì)算量也大。

發(fā)明內(nèi)容

本專利發(fā)明的目的是為了解決圖像融合過程中的運(yùn)算復(fù)雜度、細(xì)節(jié)信息的損失問題，以及融合過程中所帶來的偽影、光暈現(xiàn)象。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于結(jié)構(gòu)相似性與L2范數(shù)優(yōu)化的圖像融合方法，將源圖像分解為基層和細(xì)節(jié)層兩個(gè)尺度，大大減小了融合結(jié)構(gòu)的復(fù)雜性，提高了圖像的融合效率。由于不是所有圖像中的細(xì)節(jié)都能在真實(shí)的應(yīng)用場(chǎng)景中發(fā)揮作用，如夜間的局部高亮度——汽車燈、路燈等，為此本發(fā)明使用基于結(jié)構(gòu)相似性與L2范數(shù)優(yōu)化對(duì)引導(dǎo)濾波預(yù)融合圖像實(shí)施二次融合，讓融合圖像的細(xì)節(jié)層更接近于可見光與紅外圖像中細(xì)節(jié)層的有效信息，增強(qiáng)了融合圖像的細(xì)節(jié)信息，充分提取源圖像的區(qū)域特征和紋理信息，保留了源圖像中豐富而有用的基本信息，同時(shí)減少了融合過程中所帶來的偽影、光暈現(xiàn)象，融合效果更接近人的視覺理解系統(tǒng)，客觀評(píng)價(jià)也很理想。

一種基于結(jié)構(gòu)相似性與L2范數(shù)優(yōu)化的圖像融合方法，主要包含以下步驟。

步驟一：圖像分解，通過雙尺度變化分別將紅外與可見光源圖像分解為基層B和細(xì)節(jié)層D，具體操作為使用31x31的均值濾波器對(duì)紅外圖像IR濾波，濾波后得到的圖像為紅外圖像的基層B1，紅外圖像IR減去基層B1得到細(xì)節(jié)層D1，同理得到可見光圖像的基層B2和細(xì)節(jié)層D2。圖像的基層含有圖像的低頻信息，反映圖像在大尺度上的強(qiáng)度變化，細(xì)節(jié)層包含圖像的高頻信息，反映圖像在小尺度上的細(xì)節(jié)。