[發(fā)明專利]一種具有區(qū)域注意力的紅外與可見光圖像融合方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210434625.3
• 申請(qǐng)日: 2022-04-24
• 公開（公告）號(hào): CN114782298A
• 公開（公告）日: 2022-07-22
• 發(fā)明（設(shè)計(jì)）人: 杜友田;藍(lán)宇;王航;王雪
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06N3/04;G06N3/08
• 代理公司: 西安智大知識(shí)產(chǎn)權(quán)代理事務(wù)所 61215
• 代理人: 段俊濤

紅外與可見光圖像融合旨在利用信息互補(bǔ)性，融合同一場(chǎng)景下的熱輻射、紋理細(xì)節(jié)等信息，使得融合圖像內(nèi)容更全面、清晰，并有利于人眼觀察及后續(xù)任務(wù)等。圖像融合的步驟通常為特征提取，特征融合和圖像重構(gòu)。本發(fā)明提出了一種具有區(qū)域注意力的融合方法。首先用編碼器提取高維特征，然后設(shè)計(jì)了具有顯著區(qū)域注意力的融合策略融合特征，最后用解碼器重構(gòu)圖像。本發(fā)明旨在解決光照不足場(chǎng)景下的圖像融合問題。結(jié)果表明本發(fā)明能夠充分保留可見光圖像良好的紋理細(xì)節(jié)，并利用紅外圖像對(duì)曝光不足的區(qū)域進(jìn)行內(nèi)容補(bǔ)充。另外，本發(fā)明對(duì)顯著區(qū)域的關(guān)注使得源圖像中高亮顯示的區(qū)域在融合圖像中仍保持高亮，達(dá)到紅外和可見光圖像優(yōu)勢(shì)互補(bǔ)的良好效果。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，特別涉及一種具有區(qū)域注意力的紅外與可見光圖像融合方法。

背景技術(shù)

隨著硬件、軟件產(chǎn)業(yè)的穩(wěn)步發(fā)展，利用傳感器采集信息，以及對(duì)信息的傳輸和處理能力也日漸增強(qiáng)。在這一背景下，基于視覺的傳感器因?yàn)槟軌蛱峁┴S富的環(huán)境信息得到廣泛應(yīng)用。單一類型的傳感器只具有表征某一方面的信息特征，無法滿足對(duì)監(jiān)測(cè)環(huán)境的全面描述，因而多傳感器系統(tǒng)開始得到越來越多關(guān)注與應(yīng)用。多源傳感器成像系統(tǒng)完整地填補(bǔ)了單一傳感器圖像表達(dá)能力不足的空缺。目前，圖像融合技術(shù)已經(jīng)在遙感探測(cè)、安全導(dǎo)航、醫(yī)學(xué)圖像分析、反恐檢查、環(huán)境保護(hù)、交通監(jiān)測(cè)、清晰圖像重建、災(zāi)情檢測(cè)與預(yù)報(bào)，尤其在計(jì)算機(jī)視覺等領(lǐng)域發(fā)揮著重大的應(yīng)用價(jià)值。

對(duì)于視覺的多源傳感器系統(tǒng)，紅外和可見光圖像可以通過相對(duì)簡(jiǎn)易的設(shè)備獲取，最典型的便是紅外和可見光的圖像融和。由于兩者成像機(jī)理不同，可見圖像通常具有較高空間分辨率和圖像對(duì)比度，適合于人類視覺感知，但其極易受到惡劣條件的影響，比如亮度不足、暴雨霧霾等特殊氣候。然而紅外圖像恰好具有較好的場(chǎng)景抗干擾能力，并且對(duì)于溫度高于環(huán)境的目標(biāo)，例如行人等可以更加顯著的顯示出來。但通常紅外圖像分辨率較低，圖像細(xì)節(jié)表現(xiàn)較差。融合兩者，可以在一副圖像上顯示多種信息，突出目標(biāo)，具有比單一圖像更豐富的細(xì)節(jié)以及抵抗惡劣環(huán)境的能力。因此，紅外和可見光圖像融合，就是旨在將同一場(chǎng)景下的紅外與可見光圖像進(jìn)行細(xì)致融合，同時(shí)保留紅外圖像具有熱輻射信息的高亮目標(biāo)以及可見光圖像具有高分辨率的背景紋理細(xì)節(jié)信息，使得最終融合圖像更具信息豐富性，從而更有利于人眼的識(shí)別和機(jī)器的自動(dòng)探測(cè)，人類的觀察審美和計(jì)算機(jī)的后續(xù)圖像處理。

現(xiàn)有技術(shù)及其缺陷。

圖像融合的一般步驟為特征提取，特征融合和特征重構(gòu)，其中，特征重構(gòu)是特征提取的逆過程，特征提取和融合是圖像融合中最關(guān)鍵的兩個(gè)要素。在傳統(tǒng)方法中，多尺度變換(MST)是最為常用的圖像融合方法，主要特點(diǎn)是能夠精確表征圖像的空間結(jié)構(gòu)，并具有空間和頻譜的一致性。并且已經(jīng)有許許多多的多尺度變換被提出來，例如金字塔變換、小波變換，輪廓變換及相關(guān)變體等。除此之外，基于稀疏表示(Sparse Representation，SR)的融合算法，以及基于子空間的方法如主成分分析和獨(dú)立分量分析等也被提了出來。

近年來，深度學(xué)習(xí)已在各種領(lǐng)域展示了最先進(jìn)的性能，也已成功應(yīng)用于圖像融合。這些算法可以大致分為三類，基于Auto encoder(AE)的方法，基于CNN的方法，基于GAN的方法。Li等人提出了一種簡(jiǎn)單的自編碼器(AE)融合架構(gòu)，它包括編碼器，融合層，解碼器。后來他們還增加了編碼器的復(fù)雜度，提出了基于自編碼器的嵌套融合方法，來獲得更全面的特征融合。上述方法的缺點(diǎn)是靠人工設(shè)計(jì)融合策略，限制了融合性能。Zhang等人通過通用網(wǎng)絡(luò)結(jié)構(gòu)，即特征提取層、融合層和圖像重建層，開發(fā)了一個(gè)通用的圖像融合框架，在一類復(fù)雜的損失函數(shù)的指導(dǎo)下學(xué)習(xí)特征提取、特征融合和圖像重構(gòu)。這類方法僅關(guān)注到了全局層面的融合，沒有突出感興趣的目標(biāo)區(qū)域。Ma等人創(chuàng)造性地將GAN引入圖像融合社區(qū)，它利用鑒別器強(qiáng)制生成器合成具有豐富紋理的融合圖像。為了提高細(xì)節(jié)信息的質(zhì)量和銳化熱目標(biāo)的邊緣，他們還引入了細(xì)節(jié)損失和邊緣增強(qiáng)損失。由于GAN訓(xùn)練困難，這種方法未能獲得較好的融合質(zhì)量，并且也無法高亮顯示顯著信息。

發(fā)明內(nèi)容