[發明專利]一種基于原始圖像內容的分層權重圖像融合方法

有效

• 申請號: 201710830558.6
• 申請日: 2017-09-15
• 公開（公告）號: CN107680070B
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 孫彬;胡凱;楊琪;鄧橋
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/10;G06T7/30
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

本發明公開了一種基于原始圖像內容的分層權重圖像融合方法。本發明基于原始圖像內容與融合圖像是預先配準的性質進行分層，得到源圖像的冗余層與互補層，避免了訓練稀疏字典帶來的信息損失，同時獲得了更小的時間復雜度；再對冗余層與互補層進行融合處理。在融合圖像重構時，通過調節互補層在結果中的表現權重實現對融合效果的控制。由于互補層與冗余層在本發明的融合過程中互不干擾，互補信息能夠在最終結果中得到直接體現，使得本發明最后取得的融合結果有近似于圖像增強的效果，本發明該權重控制方法能夠使本發明提出的方法更加適應人類視覺觀察與機器處理的實際需要。本發明可用于圖像處理、計算機視覺、醫學圖像處理、衛星遙感與軍事等領域。

技術領域

本發明屬于圖像處理技術領域，特別涉及圖像的融合處理。

背景技術

由于成像傳感器本身的性能限制，單個傳感器單次成像難以全面描述目標場景信息，而采用單個傳感器多次成像或多個傳感器同時成像的方式雖然能夠獲得目標場景信息較為全面的描述，但其產生的多張源圖像不利于人的觀察和機器的處理。圖像融合技術將多張包含不同信息的源圖像綜合成為一張融合圖像，這張融合圖像繼承了源圖像之間冗余信息的同時盡量保留了互補信息，能夠更加全面地描述目標場景信息，從而有效地增加對象的信息量、提高圖像信息的利用率、提高系統的精度和魯棒性、降低系統的不確定性、擴大系統的應用范圍。圖像融合已經廣泛地應用于醫學、監控、遙感和軍事等領域，并且在海事、交通和智能機器人等領域有著較好的前景。

基于分層的圖像融合方法根據一定的原則將源圖像信息分解為包含不同信息的多個圖層，以便于區分不同信息的特性，進而設計一定的融合規則，實現對應各層的比較和融合。基于分層的融合方法主要包含三個部分：圖像分層模式，對應各層融合規則，融合圖像重構。

基于分層的融合方法的主流分層模式有兩種：基質-細節分層模式，冗余-互補分層模式。

基質-細節分層模式依據圖像信息變化的劇烈程度，將圖像分為主要包含平坦信息的基質層與主要包含變化信息的細節層。通常情況下，該模式下的算法會在每張源圖像中獲得一個基質層，根據閾值設置或迭代次數的不同，獲得若干個細節層。以高斯金字塔(LP,Laplacian Pyramid)分解為代表的金字塔分解方法，以雙樹復小波變換(DTCWT,Dual-Tree Complex Wavelet Transform)為代表的小波分解方法,以非下采樣輪廓波變換(NSCT,None-Sampled Contourlet Transform)為代表的幾何多分辨率分解方法,以及濾波器分解方法和低秩分解方法，都是該模式下比較有代表性的算法。這些方法通過檢測圖像中不同相位和幅度的梯度信息，將這些梯度信息從源圖像中剝離出來形成細節層，余下的部分就是基質層。基質-細節分層模式缺陷在于其任意層中互補信息和冗余信息都是混雜存在的，使得信息難以被正確地辨識和選擇，導致融合結果不能夠很好完整地保留或繼承源圖像信息。

冗余-互補分層模式依據圖像源之間信息是否冗余，將圖像分為主要包含冗余信息的冗余層與主要包含互補信息的互補層。聯合稀疏表示(JSR,Joint SparseRepresentation)，魯棒相關和獨立分量分析(RCICA,Roubust Correlated andIndividual Component Analysis)是近年來比較具有代表性的基于冗余-互補模式分層的融合算法。它們首先通過稀疏字典學習算法獲得源圖像的特征，然后分析該字典原子在源圖像重構過程中的使用情況，進而將字典原子標記為冗余原子或互補原子，從而利用對應的原子重建出一個統一的冗余層和各個源的互補層。這樣的方法主要缺陷在于稀疏字典原子之間本身具備相關性并且在重構中會出現一定的重構誤差，因此，其對冗余信息和互補信息的區分度并不能達到理想情況，因此會出現一定程度的信息損失。除此之外，由于每張源圖像的冗余信息含量可能不同，直接生成一個統一的冗余層，難以體現出各源中冗余信息含量的差異，不能真實體現源圖像信息分布特性。

對應各層融合規則中，根據分層模式的不同，采用的方法也比較不同。