[發明專利]基于顯著性檢測與改進雙通道的自適應融合方法及裝置

在審

• 申請號: 201811055347.0
• 申請日: 2018-09-11
• 公開（公告）號: CN109191417A
• 公開（公告）日: 2019-01-11
• 發明（設計）人: 程博陽;金龍旭;李國寧
• 申請（專利權）人: 中國科學院長春光學精密機械與物理研究所
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/30;G06K9/46
• 代理公司: 深圳市科進知識產權代理事務所(普通合伙) 44316
• 代理人: 曹衛良

1.一種基于顯著性檢測與改進雙通道的自適應融合方法，其特征在于，所述方法包括：

獲取來自同一場景并進行圖像配準的紅外圖像和可見光圖像；

利用非下采樣剪切波變換NSST算法對所述紅外圖像和所述可見光圖像進行多尺度分解得到低頻子帶系數和高頻子帶系數；

針對低頻子帶系數采用基于FT算法進行自適應加權融合得到低頻融合系數，對高頻子帶系數采用改進的雙通道PCNN模型進行優化處理得到高頻融合系數；

利用NSST逆變換重構低頻融合系數和高頻融合系數得到融合圖像。

2.根據權利要求1所述的基于顯著性檢測與改進雙通道的自適應融合方法，其特征在于，所述獲取來自同一場景并進行圖像配準的紅外圖像和可見光圖像，包括：

分別獲取同一場景的紅外圖像和可見光圖像；

對紅外圖像和可見光圖像進行特征提取得到特征點，通過進行相似性度量找到匹配的特征點對，通過匹配的特征點對得到圖像空間坐標變換參數，由坐標變換參數進行紅外圖像和可見光圖像的圖像配準。

3.根據權利要求2所述的基于顯著性檢測與改進雙通道的自適應融合方法，其特征在于，所述利用非下采樣剪切波變NSST算法對所述紅外圖像和所述可見光圖像進行多尺度分解得到低頻子帶系數和高頻子帶系數，包括：

利用非采樣剪切變換LNSST分別對所述紅外圖像和所述可見光圖像進行多尺度分解分別形成低頻子帶系數和高頻子帶系數其中l是分解層數，k是每層分解方向的數量，(i,j)代表像素元的位置。

4.根據權利要求3所述的基于顯著性檢測與改進雙通道的自適應融合方法，其特征在于，所述針對低頻子帶系數采用基于FT算法進行自適應加權融合得到低頻融合系數，包括：

采用FT算法分別對紅外圖像和可見光圖像進行顯著性探測，生成相應的顯著圖S_IR與S_VI，然后再將兩幅圖的灰度值進行歸一化，分別形成第一加權系數矩陣S₁與第二加權系數矩陣S₂，顯著性檢測的公式如下：

S(x,y)＝||I_μ-I_whc|| (1)；

利用第一加權系數矩陣S₁與第二加權系數矩陣S₂分別指導基于紅外顯著性與可見光顯著性的自適應加權融合，具體表達式為：

其中C^IR_l,k(i,j)與C^VI_l,k(i,j)分別代表紅外圖像與可見光圖像在(i,j)處的低頻子帶系數，l是分解層數，k是每層分解方向的數量，C¹_l,k(i,j)與C²_l,k(i,j)分別表示基于紅外顯著性檢測與可見光顯著性檢測的自適應加權融合系數；

計算兩組自適應加權融合系數的區域能量：

其中ω(m,n)代表為以像素(i,j)為中心定義的一個窗口，取3×3窗口，E¹_l,k(i,j)與E²_l,k(i,j)分別代表兩組自適應加權融合系數在窗口內的區域能量；

計算兩組低頻系數的相似性；

其中閾值T的范圍在[0.3,0.4]之間，當M^1,2_l,k(i,j)<T時，表明兩組系數的相關性差，其中區域能量值大表示該區域包含更豐富的顯著性信息，則更大的系數為融合系數，采用如下合并規則：

當M^1,2_l,k(i,j)>T，說明二者重要程度相當：

其中W(i,j)代表系數合并時的權重系數。