[發明專利]基于復數剪切波變換與深度卷積神經網絡的圖像融合方法

在審

• 申請號: 201810432232.2
• 申請日: 2018-05-08
• 公開（公告）號: CN108629757A
• 公開（公告）日: 2018-10-09
• 發明（設計）人: 王雷;楊利素;郭全;張勝男
• 申請（專利權）人: 山東理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

本發明公開了一種基于復數剪切波變換與深度卷積神經網絡的圖像融合方法，包括步驟：1)對兩幅待融合的源圖像進行復數剪切波分解，分解過程包括多尺度剖分和方向局部化，分解后得到的是低頻子帶圖像和高頻子帶圖像；2)對得到的高頻部分用基于深度卷積神經網絡的融合規則進行高頻融合，得到所需的高頻系數；用引導濾波對低頻部分進行融合，得到所需的低頻系數；3)對得到融合后的低頻系數和高頻系數進行復剪切波逆變換，得到所需的融合圖像。本發明不僅能較好地顯示圖像中的目標信息和輪廓特征，而且對比度較高，并保持良好的細節信息而不產生偽影和失真，融合效果較優，相比于其他傳統方法有較顯著的優勢。

技術領域

本發明涉及圖像攝影成像的技術領域，尤其是指一種基于復數剪切波變換與深度卷積神經網絡的圖像融合方法。

背景技術

單一的圖像傳感器可能由于自身的局限性無法獲得一幅可以全面描述場景信息的圖像，而不同的傳感器得到的圖像信息之間存在一定的互補特性，為了盡可能地將場景的全部信息真實而又詳細地反映出來，提高圖像清晰度以及可理解度，更符合機器以及人類視覺特性，滿足實際需求，圖像融合技術的研究就至關重要。

最經典的變換域融合方法是基于多尺度變換(MST)理論，自從基于拉普拉斯金字塔的融合方法提出以來，已經應用于圖像融合已有三十多年。此后，大量基于多尺度變換的圖像融合方法出現在這個領域。一些代表性的例子包括基于形態金字塔的方法，基于離散小波變換的方法，基于雙樹復小波變換的方法以及基于非下采樣輪廓波變換的方法，本文所用到的復剪切波變換也是屬于變換域中的一種。這些基于MST的方法共享一個通用的三步框架，即分解，融合和重構。眾所周知，無論是變換域還是空間域圖像融合方法，活動水平測量和融合規則是兩個關鍵因素。在大多數現有的圖像融合方法中，這兩個問題分別考慮和手動設計。但問題是手動設計并不是一件容易的事情，而且，從某種角度來看，想出一個能夠把所有必要的因素考慮在內的理想設計幾乎是不可能的。

目前，國內外相關學者對圖像融合問題，提出了一系列融合技術。傳統的基于空間域的融合方法有加權平均法、主成分分析法和清晰度評價函數等，由于其本身固有的缺陷，融合的效果并不理想，往往會導致塊效應。近些年來，多尺度變換已成為圖像融合領域的研究熱點，而小波變換的提出是多尺度變換的里程碑，但小波變換只能捕獲有限的方向信息，且在分析點狀瞬時狀態奇異性時不是很優。為了克服小波變換的缺陷，具有代表性的多尺度變換，如輪廓波變換、曲線波變換、剪切波變換等方法相繼被提出。在多聚焦圖象融合中，有些文獻提出了一種基于Shearlet的多聚焦圖像融合算法，該算法通過計算區域能量值對融合圖像的高低頻系數進行選取，但由于融合規則比較簡單以及缺乏平移不變性，導致融合結果對比度低，效果不太理想。有些文獻通過Sigmoid函數來計算Shearlet子帶系數在PCNN每個迭代過程中的點火輸出幅度，能使融合圖像具有較高的對比度，但融合結果中仍存在吉布斯現象。

鑒于復剪切波的多尺度、多方向分析和具有平移不變性的特點，本發明主要對其在圖像融合領域中的應用進行了分析與研究，并將深度卷積神經網絡應用到高頻融合中，克服了現有融合方法的不足。

發明內容

本發明的目的在于克服現有技術的缺點與不足，提出了一種基于復數剪切波變換與深度卷積神經網絡的圖像融合方法，突破傳統融合質量不高、偽吉布斯現象嚴重的現象，能很好地保留細節信息而不產生偽影和失真，使融合結果更符合人眼視覺特性，進一步滿足在軍事監測、醫學圖像分析、遠程遙感等方面的應用。

為實現上述目的，本發明所提供的技術方案為：基于復數剪切波變換與深度卷積神經網絡的圖像融合方法，包括以下步驟：

1)對兩幅待融合的源圖像進行復數剪切波分解，分解過程包括多尺度剖分和方向局部化，分解后得到的是低頻子帶圖像和高頻子帶圖像；

2)對得到的高頻部分用基于深度卷積神經網絡的融合規則進行高頻融合，得到所需的高頻系數；用引導濾波對低頻部分進行融合，得到所需的低頻系數；