[發明專利]基于復數剪切波變換與深度卷積神經網絡的圖像融合方法

在審

• 申請號: 201810432232.2
• 申請日: 2018-05-08
• 公開（公告）號: CN108629757A
• 公開（公告）日: 2018-10-09
• 發明（設計）人: 王雷;楊利素;郭全;張勝男
• 申請（專利權）人: 山東理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 馮炳輝

1.基于復數剪切波變換與深度卷積神經網絡的圖像融合方法，其特征在于，包括以下步驟：

1)對兩幅待融合的源圖像進行復數剪切波分解，分解過程包括多尺度剖分和方向局部化，分解后得到的是低頻子帶圖像和高頻子帶圖像；

2)對得到的高頻部分用基于深度卷積神經網絡的融合規則進行高頻融合，得到所需的高頻系數；用引導濾波對低頻部分進行融合，得到所需的低頻系數；

3)對得到融合后的低頻系數和高頻系數進行復剪切波逆變換，得到所需的融合圖像。

2.根據權利要求1所述的基于復數剪切波變換與深度卷積神經網絡的圖像融合方法，其特征在于：在步驟1)中，所述多尺度剖分是指通過非下采樣金字塔濾波器對復剪切波進行分解，經過一層分解后得到一個高頻子帶和一個低頻子帶，之后的非下采樣金字塔濾波器分解只在上次分解后的低頻子帶上進行；所述方向局部化是指對多尺度分解后的高頻子帶采用復剪切波濾波器進行方向局部化。

3.根據權利要求1所述的基于復數剪切波變換與深度卷積神經網絡的圖像融合方法，其特征在于：在步驟2)中，對得到的高頻部分用基于深度卷積神經網絡的融合規則進行高頻融合，步驟如下：

2.1.1)焦點檢測

讓A和B表示兩個高頻子帶圖像，通過向訓練后的深度卷積神經網絡模型輸入A和B，得到一個分數圖，分數圖中每個系數的取值范圍為0到1，表明圖像中一對大小為16×16塊的焦點屬性，值越接近1或0，來自圖像A或B的補丁塊越集中，為了生成具有相同大小的源圖像的焦點圖，表示為M，將分數圖中的每個系數的值分配給M中對應的塊內的所有像素，并且平均重疊的像素，從直觀上看，具有豐富細節的區域的值接近1或0，而普通區域的值趨向于接近0.5的值；

2.1.2)初始分割

為了盡可能保留有用的信息，焦點圖M需要進一步處理，與大多數空間域多聚焦圖像融合方法一樣，也采用常用的“選擇最大”策略來處理焦點圖，相應地，將0.5的固定閾值應用于焦點圖中，生成二元圖T，也就是說，焦點圖被如下公式分割：

其中，(x,y)代表像素值，焦點圖中幾乎所有的灰色像素都被正確地分類，這說明學習的深度卷積神經網絡模型即使在源圖像中的平滑區域也能獲得精確的性能；

2.1.3)一致性驗證

二進制分割圖可能包含一些錯誤分類的像素，使用小區域去除策略能夠有效將其刪除，具體來說，一個小于區域閾值的區域在二進制映射中被反轉，用該策略獲得的初始決策圖進行融合時，在聚焦和散焦區域之間的邊界周圍會存在一些不希望的偽像，影響最終的成像效果，能夠利用引導濾波器來提高初始決策圖的質量，將引導圖像的結構信息轉換為輸入圖像的濾波結果，采用初始融合圖像作為引導圖像來指導初始決策圖的濾波，其中引導濾波算法中有兩個自由參數：局部窗口半徑r和正則化參數ε；

2.1.4)融合

利用得到的決策圖D，用以下逐像素加權平均規則來計算融合圖像F

F(x,y)＝D(x,y)A(x,y)+(1-D(x,y))B(x,y)

其中，(x,y)代表像素值，A和B代表輸入的兩個源圖像高頻子帶圖像。

4.根據權利要求1所述的基于復數剪切波變換與深度卷積神經網絡的圖像融合方法，其特征在于：在步驟2)中，用引導濾波對低頻部分進行融合，具體是用引導濾波對低頻系數加權矩陣進行優化，使得亮度或顏色相近的相鄰像素值也具有相近的權重，從而滿足空間一致性，步驟如下：

2.2.1)計算源圖像低頻系數的區域能量；

2.2.2)利用區域能量構建低頻系數加權映射矩陣；

2.2.3)引導濾波優化權重矩陣；

2.2.4)低頻系數融合。

5.根據權利要求1所述的基于復數剪切波變換與深度卷積神經網絡的圖像融合方法，其特征在于：在步驟3)中，具體是采用兩幅圖像來實現圖像融合，而在實際應用中，要實現多幅源圖像的融合，只需將其做相應擴展即可。