[發明專利]一種近紅外與可見光圖像融合方法及系統

在審

• 申請號: 202310117564.2
• 申請日: 2023-02-15
• 公開（公告）號: CN116342443A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 潘冬;楊波;蔣朝輝;桂衛華;余浩洋
• 申請（專利權）人: 中南大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06T7/246
• 代理公司: 長沙朕揚知識產權代理事務所(普通合伙) 43213
• 代理人: 馬家駿

本發明公開了一種近紅外與可見光圖像融合方法及系統，通過獲取近紅外圖像和可見光圖像，構建正則化項，所述正則化項包括數據保真項、多階超拉普拉斯先驗項以及噪聲映射項，基于正則化項，構建用于近紅外圖像與可見光圖像融合的融合模型以及對融合模型進行最優值求解，獲得最優融合圖像，解決了現有的近紅外與可見光圖像融合方法存在細節丟失與結構不一致的技術問題，實現了霧天/低光場景下圖像細節的精細提取，不僅能在低光/霧霾場景下揭示受到重霧霾/噪聲退化區域處的細節，而且能有效避免融合圖像中的顏色失真。

技術領域

本發明主要涉及圖像處理技術領域，特指一種近紅外與可見光圖像融合方法及系統。

背景技術

近紅外與可見光圖像融合是一項重要的圖像增強技術，目的是在極端環境下融合近紅外與可見光波段下的圖像生成紋理豐富的高質量融合圖像。近紅外和可見光圖像在顏色和能見度方面有不同的特征。可見光波段傳感器捕獲的圖像，對波長在(400-700nm)范圍內的輻射具有最高的靈敏度，但是可見光波段圖像在霧、霾或低光等特殊條件下的能見度和場景對比度較低。相反，近紅外(NIR)波段(650-1650nm)的輻射可以捕獲具有較強能見度和對比度的圖像，其中包含在可見光圖像中可能被遺漏的場景的互補細節。

近紅外與可見光圖像的融合方法主要分為三類：盲法方法、基于變分的方法與基于數據驅動的方法。盲法方法執行時間快，但它產生的融合圖像容易產生視覺偽影與細節損失。基于變分的方法可以產生令人滿意的融合效果，然而它的性能主要依靠于先驗知識的選擇。基于數據驅動的方法需要具有基本真值的訓練數據集。然而，在極其惡劣的環境中，收集大量清晰的圖像變得更加困難。綜上所述，大多數現有的近紅外與可見光圖像融合方法在重霧霾/噪聲條件下存在細節丟失與結構不一致的問題。為了解決這些問題，本發明提出了一種新的基于多階超拉普拉斯先驗的近紅外與可見光圖像融合方法，該方法通過對近紅外與可見光圖像的多階梯度差應用l_1/2范數，一種有效的多階超拉普拉斯先驗被設計去緩解霧霾/噪聲退化造成的細節損失。此外，考慮到低光場景中去噪與融合任務的不兼容性，一個噪聲圖被設計去消除不一致的結構。最后，基于多階超拉普拉斯先驗和噪聲圖建立了統一的變分框架，用于近紅外與可見光圖像/視頻融合。該框架能夠在惡劣場景中保留基本結構，提高融合圖像/視頻的視覺保真度。

公開號為CN?111429389?A的專利公開了一種保持光譜特性的可見光和近紅外圖像融合方法。該發明提出基于可見光和近紅外光譜反射特性差異的反射權重模型,該模型考慮了物體表觀顏色與可見光光譜反射特性的關系,實現融合圖像的顏色真實自然。其次,逐層由引導濾波和高斯低通濾波獲取紋理層和輪廓層,計算紋理層和輪廓層的融合權重,并對可見光和近紅外圖像進行逐層融合,最后得到清晰、顏色自然的融合圖像。

但實際上該方法在融合過程中會出現嚴重的結構不一致問題。該方法通過計算反射權重模型與融合權重，估計最后的融合圖像實現細節提升。但是該方法只考慮提升霧天場景的視覺可見性，沒考慮噪聲帶來的不一致結構。

公開號為CN?113160286?A的專利公開了一種基于卷積神經網絡的近紅外和可見光圖像融合方法。該發明提出了一種基于卷積神經網絡的近紅外和可見光圖像融合方法,設計由像素損失、結構損失和邊緣損失構成的混合損失函數,輸入訓練集進行融合網絡的訓練；最后,輸入待融合的近紅外和可見光圖像對得到最終的融合圖像。

但實際上該方法對于重霧霾/噪聲退化下的圖像融合效果還是比較差，無法有效提取兩類退化下的細節特征；該方法對于一些無法獲取真值的極端環境魯棒性較差，因為在極其惡劣的環境中收集大量清晰的圖像變得更加困難。

發明內容

本發明提供的近紅外與可見光圖像融合方法及系統，解決了現有的近紅外與可見光圖像融合方法存在細節丟失與結構不一致的技術問題。

為解決上述技術問題，本發明提出的近紅外與可見光圖像融合方法包括：

獲取近紅外圖像和可見光圖像。