[發明專利]基于Framelet框架的紅外與可見光圖像融合方法

有效

• 申請號: 202010520064.X
• 申請日: 2020-06-09
• 公開（公告）號: CN111680752B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 馮鑫;胡開群;杜彥斌;婁熙承;張建華;翟治芬
• 申請（專利權）人: 重慶工商大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶強大凱創專利代理事務所(普通合伙) 50217
• 代理人: 蒙捷

本發明涉及圖像融合技術領域，具體為基于Framelet框架的紅外與可見光圖像融合方法，包括：S100：采用Framelet變換對紅外圖像以及可見光圖像進行分解；S200：對紅外圖像和可見光圖像的高頻子帶采用卷積稀疏表示進行系數分解；分別采用活動測度水平取大和加權平均規則進行細節層和基本層的融合；S300：對紅外圖像以及可見光圖像的低頻子帶定義ISR算子進行融合；S400：對融合后的高頻子帶系數和低頻子帶系數采用Framelet反變換，獲取最終的融合結果。本申請的基于Framelet框架的紅外與可見光圖像融合方法，能夠解決目前融合方法在保留融合圖像細節信息的同時不能有效保持融合目標輪廓的缺點，有效提升紅外與可見光圖像融合的質量，并且還具有抗誤配能力，能夠克服在融合前可能存在的配準誤差。

技術領域

本發明涉及圖像融合技術領域，具體為基于Framelet框架的紅外與可見光圖像融合方法。

背景技術

圖像融合是一種增強技術，旨在組合由不同類型的傳感器獲得的圖像，以生成穩健或信息豐富的圖像，以便于后續處理或幫助決策。優秀融合方法的關鍵是有效的圖像信息提取和適當的融合原理，它允許從源圖像中提取有用信息并在融合結果中集成，而不會在過程中引入任何偽像。在信息爆炸時代，傳感器技術正在迅速發展。某些復雜應用的出現需要有關某種情況的全面信息，以便加深對各種條件的理解。

相同類型的傳感器僅從一個方面獲取信息，因此無法提供所有必需的信息。因此，融合技術在現代應用和計算機視覺中發揮著越來越重要的作用。

紅外和可見圖像共享互補特性，從而產生穩健且信息豐富的融合圖像。可見圖像通常具有高空間分辨率和相當大的細節和明暗對比。因此，它們適合于人類視覺感知。然而，這些圖像很容易受到嚴苛條件的影響，例如光線不足，霧氣和惡劣天氣的其他影響。同時，描繪物體的熱輻射的紅外圖像抵抗這些干擾，但通常具有低分辨率和差的紋理。因此，由于所使用的圖像的普遍和互補的特性，可見和紅外圖像的融合技術可以用于比其他融合方案更多的領域。物體識別、檢測、圖像增強、監視和遙感是紅外和可見光圖像融合的典型應用。

目前，紅外與可見光圖像融合主要分為2大類，包括基于空域的融合方法以及基于變換域的融合方法。其中基于空域的融合方法主要在像素本身上進行融合規則的設置，主要包括基于子空間的融合方法以及基于顯著性的融合方法。子空間融合方法的思路是將高維輸入圖像投影到低維空間或子空間中，幫助研究人員獲取更多圖像的內在結構信息；而基于顯著性的融合方法根據人類視覺系統的機制，可以保持顯著對象區域的完整性，并提高融合圖像的視覺質量。基于空間域的方法直接在圖像像素點上進行處理，但是大部分都需要對圖像本身進行塊處理，而容易使得融合結果產生塊效應。

基于變換域的融合方法思路是將圖像從空域變換到某個特定的框架域以內，然后在該域內采用某種規則進行融合，最后再反變換回去獲取最終的融合結果。而該類融合方法的主要創新點是在變換框架的改進以及域內融合規則的改進上，目前比較熱門的變換方法包括小波方法、NSCT方法以及NSST方法等。而Framelet變換相比較于普通的小波變換具有更小的重建誤差，且時間尺度平面更加密集，已經被用于圖像去噪以及圖像融合。

文獻“唐守軍,萬偉,劉永福.Framelet變換結合HSV的多模態圖像融合方法[J].西南師范大學學報(自然科學版),2018,43(01):31-39.”(后文簡稱為文獻[1])，利用Framelet變換結合人類視覺系統針對醫學多模態圖像進行融合。但是作者在變換域融合規則的設置上相對比較簡單，并且沒有考慮待合圖像可能出現的誤配情況。

目前并沒有基于Framelet變換的紅外與可見光圖像融合相關研究，并且在其它多模態圖像融合方法中，也存在融合規則的設置較簡單，不具有平移不變性、融合過程中容易圖像誤配而產生的融合偽影等缺點。

發明內容

本發明意在提供基于Framelet框架的紅外與可見光圖像融合方法，能夠解決現有技術不具有平移不變性、融合過程中容易圖像誤配而產生的融合偽影等問題。