[發(fā)明專利]一種多源圖像高效融合方法、系統(tǒng)及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202310614277.2
• 申請(qǐng)日: 2023-05-29
• 公開（公告）號(hào): CN116342455B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 李樹濤;劉錦洋;佃仁偉
• 申請(qǐng)（專利權(quán)）人: 湖南大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06V10/74;G06V10/774;G06V10/764;G06V10/82;G06N3/0464
• 代理公司: 湖南兆弘專利事務(wù)所(普通合伙) 43008
• 代理人: 譚武藝

本發(fā)明公開了一種多源圖像高效融合方法、系統(tǒng)及介質(zhì)，本發(fā)明方法包括針對(duì)由兩個(gè)特征提取網(wǎng)絡(luò)D和一個(gè)特征重建網(wǎng)絡(luò)F構(gòu)成的多源圖像高效融合網(wǎng)絡(luò)進(jìn)行下述訓(xùn)練：將樣本對(duì)的源圖像與分別輸入特征提取網(wǎng)絡(luò)D提取高維圖像特征與，拼接為融合特征再經(jīng)特征融合網(wǎng)絡(luò)F生成融合圖像；將與分別輸入至中間信息層Lsubgt;i/subgt;生成權(quán)重與以引導(dǎo)計(jì)算根據(jù)權(quán)重融合圖像與權(quán)重源圖像之間的相似性設(shè)計(jì)的損失函數(shù)Loss的值以完成特征提取網(wǎng)絡(luò)D和特征融合網(wǎng)絡(luò)F的訓(xùn)練。本發(fā)明具有融合速度快、視覺效果好、紋理信息明顯、結(jié)構(gòu)保持度高、普適性強(qiáng)的優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及多源圖像高效融合技術(shù)領(lǐng)域，具體涉及一種多源圖像高效融合方法、系統(tǒng)及介質(zhì)。

背景技術(shù)

多源圖像高效融合旨在將不同輸入源圖像的優(yōu)勢(shì)信息快速整合于一張圖像中，以提高圖像判讀、目標(biāo)識(shí)別、場(chǎng)景分類等后續(xù)工作的效率。該類型的融合在視頻監(jiān)控、偽裝分析、攝影等方面都存在大量應(yīng)用。具體來(lái)說(shuō)，這種圖像融合是主要包含多模態(tài)融合、多聚焦融合、多曝光融合等不同種類的融合。

通常該類型的融合被分類兩大類，即傳統(tǒng)圖像融合與非傳統(tǒng)圖像融合。傳統(tǒng)的像素級(jí)統(tǒng)一圖像融合幾乎與手工設(shè)計(jì)的圖像特征提取、融合、重建三個(gè)步驟不可分割。最常見的特征提取方法包括稀疏表示（SR）、多尺度變換（MST）、字典學(xué)習(xí)等。融合規(guī)則包括最大值、最小值、加法、L1范數(shù)（l1-norm）等。傳統(tǒng)的像素級(jí)統(tǒng)一圖像融合方法嚴(yán)重依賴專家知識(shí)來(lái)提取特征和制定融合策略，這不僅導(dǎo)致模型的泛化能力較差，而且嚴(yán)重限制了融合效果。此外，該方法通常需要根據(jù)融合類型進(jìn)行參數(shù)調(diào)整，且參數(shù)調(diào)整過程復(fù)雜、耗時(shí)。近年來(lái)以卷積神經(jīng)網(wǎng)絡(luò)為主流的非傳統(tǒng)圖像融合在融合性能上取得了重大突破，其根據(jù)網(wǎng)絡(luò)類型可大致分為基于損失函數(shù)控制、基于先驗(yàn)信息控制、基于人工算子等網(wǎng)絡(luò)類型。以U2Fusion（統(tǒng)一無(wú)監(jiān)督圖像融合網(wǎng)絡(luò)，參見：Xu,?Han,?et?al.?U2Fusion:?A?unified?unsupervisedimage?fusion?network.?IEEE?Transactions?on?Pattern?Analysis?and?MachineIntelligence?44.1?(2020):?502-518.）、FusionDN（圖像融合統(tǒng)一密集連接網(wǎng)絡(luò)，參見：Xu,?Han,?et?al.?Fusiondn:?A?unified?densely?connected?network?for?imagefusion.?Proceedings?of?the?AAAI?Conference?on?Artificial?Intelligence.?Vol.34.?No.?07.?2020.）、PMGI（基于梯度和強(qiáng)度比例保持的快速統(tǒng)一圖像融合網(wǎng)絡(luò)，參見：Zhang,?Hao,?et?al.?Rethinking?the?image?fusion:?A?fast?unified?image?fusionnetwork?based?on?proportional?maintenance?of?gradient?and?intensity.Proceedings?of?the?AAAI?Conference?on?Artificial?Intelligence.?Vol.?34.?No.07.?2020.）為代表的基于損失函數(shù)控制的網(wǎng)絡(luò)，它們通過計(jì)算源圖像與融合結(jié)果之間的相似性來(lái)實(shí)現(xiàn)圖像融合。此外，還通常根據(jù)任務(wù)或源圖像設(shè)定損失函數(shù)的權(quán)重。具體來(lái)說(shuō)，F(xiàn)usionDN使用手工算子來(lái)確定權(quán)重，而U2Fusion通過使用預(yù)先訓(xùn)練好的特征提取網(wǎng)絡(luò)來(lái)確定權(quán)重來(lái)實(shí)現(xiàn)更準(zhǔn)確的融合，PMGI則通過手工設(shè)計(jì)不同的強(qiáng)度損失函數(shù)和梯度損失函數(shù)的權(quán)重來(lái)適應(yīng)不同的融合任務(wù)。基于先驗(yàn)信息控制的代表性方法是IFCNN（基于卷積神經(jīng)網(wǎng)絡(luò)的通用圖像融合框架，參見：Zhang,?Yu,?et?al.?IFCNN:?A?general?image?fusionframework?based?on?convolutional?neural?network.?Information?Fusion?54(2020):?99-118.），IFCNN利用多焦源圖像及其地面真值（Ground?Truth）實(shí)現(xiàn)圖像融合，因此融合網(wǎng)絡(luò)可以揭示源圖像和地面真值（Ground?Truth）之間的關(guān)系。基于人工算子的方法首先在DeepFuse（用于與極端曝光圖像對(duì)進(jìn)行曝光融合的深度無(wú)監(jiān)督網(wǎng)絡(luò)，參見：RamPrabhakar,?K.,?V.?Sai?Srikar,?and?R.?Venkatesh?Babu.?Deepfuse:?A?deepunsupervised?approach?for?exposure?fusion?with?extreme?exposure?image?pairs. Proceedings?of?the?IEEE?International?Conference?on?Computer?Vision.?2017.）中提出，該方法使用了最大值融合規(guī)則。該方法的初衷是為了解決融合過程中缺乏訓(xùn)練數(shù)據(jù)和地面真值的問題。為了提高DeepFuse的融合效果，DenseFuse（紅外及可見光融合網(wǎng)絡(luò)，參見：Li,?Hui,?and?Xiao-Jun?Wu.?DenseFuse:?A?fusion?approach?to?infrared?andvisible?images. IEEE?Transactions?on?Image?Processing28.5?(2018):?2614-2623.）將L1范數(shù)（l1-norm）擴(kuò)展到融合規(guī)則中，并在網(wǎng)絡(luò)中加入了密集連接。