[發明專利]基于NSCT及深度信息激勵PCNN的多聚焦圖像融合方法

在審

• 申請號: 201610039111.2
• 申請日: 2016-01-20
• 公開（公告）號: CN105551010A
• 公開（公告）日: 2016-05-04
• 發明（設計）人: 丁世飛;朱強波
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于圖像處理中的圖像融合領域，尤其涉及一種基于非下采樣Contourlet變換 (NSCT)及深度信息激勵PCNN的多聚焦圖像融合方法。

背景技術

多聚焦圖像融合技術是指將同一場景中聚焦對象為不同局部物體的多幅源圖像進行融 合，有效獲取各個源圖像的清晰部分，最終得到一幅包含該空間更為全面的圖像信息的高質 量圖像。

圖像融合方法分類有像素級、特征級、決策級這三個不同層次。本發明研究的多聚焦圖 像融合屬于像素級圖像融合的層次，主要包括基于空間域的圖像融合和基于變換域的圖像融 合。目前大多數研究以基于變換域的方法為主。該方法主要通過多尺度變換的方法將圖像空 域變為頻域，再經過融合規則的處理得到融合系數，最終通過多尺度的逆變換得到融合結果。 小波變換是最常用的變換域融合方法，具有良好的時頻局部性能，能很好地保留圖像細節信 息，但其不具備平移不變性，會產生偽吉布斯現象。2002年Contourlet變換的提出解決了小 波變換分解方向子帶少的問題，但其不具備平移不變性，導致融合圖像失真，ArthurL.da Cunha等人提出非下采樣Contourlet變換，具有平移不變性，避免出現偽吉布斯現象。常用的 多尺度變換還包括Laplace金字塔、曲波、輪廓波等。多尺度圖像融合的研究難點主要包括 多尺度分解方法的選擇以及融合方法的選擇兩方面。多尺度分解方法如前所述有Laplacian塔 式法、小波變換和Contourlet變換等，在融合方法上主要有平均法、最大值法和區域能量法 等。研究表明，利用PCNN神經網絡的同步激發特性來設計融合方法有較好的融合效果。

神經網絡在圖像融合中的應用主要有：雙模態神經網絡、多感知器以及脈沖耦合神經網 絡。其中PCNN應用最廣泛，國際上稱為第三代人工神經網絡。PCNN是1990年Eckhorn通 過對貓的大腦視覺皮層中的同步脈沖發放特性的研究而提出的新型神經網絡。1993年Johnson 以Eckhorn提出模型為基礎，正式提出了PCNN，由若干個神經元互連而構成的反饋型網絡。 PCNN具有特有的生物學特性，它是以生物大腦視覺皮層中同步脈沖發放現象為背景提出的， 當應用到圖像融合中時不僅利用了像素點的空間特性而且還具有融合的時間層次性。

本發明基于改進PCNN模型和非下采樣Contourlet變換的多尺度分解算法，采用改進拉 普拉斯能量和(SML)與圖像深度信息結合的因子對PCNN模型進行改進而提出的一種新型圖 像融合方法。采用非下采樣Contourlet變換對源圖像進行多尺度分解得到低頻子帶及各帶通 子帶，低頻子帶的系數選取采用基于子帶系數的邊緣信息能量的方法確定，帶通子帶系數通 過PCNN模型來確定，最后通過非下采樣Contourlet逆變換得到融合圖像。由于人眼視覺系 統對單個像素不敏感，而對圖像邊緣、方向和紋理等信息較敏感，所提出的PCNN采用能夠 較好描述圖像方向及紋理信息的改進拉普拉斯能量和(SML)與圖像深度信息結合的因子作為 輸入項的值而沒有采用單個像素的灰度值。

發明內容

為了解決上述問題，本發明需要解決的技術問題是針對PCNN應用到圖像融合中的不足 之處，提出基于改進PCNN模型和非下采樣Contourlet變換的多尺度分解算法。該方法更符 合人眼視覺系統的視物規律，使融合圖像效果更佳。

為達成上述目的，本發明采用如下技術方案：

一種基于非下采樣Contourlet變換及深度信息激勵PCNN的多聚焦圖像融合方法，具體 步驟如下：

(1)在對同一場景的多聚焦圖像進行配準的預處理基礎上，分別對多聚焦圖像I_A和I_B進行 多尺度、多方向的非下采樣Contourlet變換，兩圖各分解為一幅低頻子帶圖像和一系列不同 分辨率的高頻子帶圖像。

(2)對低頻子帶圖像I_A-lf和I_B-lf采用基于子帶系數的邊緣信息能量來得到融合后的低頻子 帶圖像I_F-lf，而沒有采用傳統方法平均法，因為該方法沒有考慮圖像邊緣的信息，降低了圖 像的對比度。能量表達式為：