[發明專利]基于早期視覺信息處理的紅外圖像和可見光圖像融合方法

有效

• 申請號: 202010516394.1
• 申請日: 2020-06-09
• 公開（公告）號: CN111724333B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 高紹兵;譚敏潔;魏偉;彭艦
• 申請（專利權）人: 四川大學
• 主分類號: G06T5/50
• 分類號: G06T5/50
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 鐘玉巧

本發明公開了一種基于早期視覺信息處理的紅外圖像和可見光圖像融合方法，包括以下步驟：S1、On中心型神經元和Off中心型神經元的動態感受野處理；S2、獲得融合圖像A和融合圖像B：將可見光圖像的On中心型神經元響應，紅外圖像的Off中心型神經元響應，以及原始的可見光圖像三種成份進行融合獲得圖像A；將紅外圖像的On中心型神經元響應，可見光圖像的Off中心型神經元響應，以及原始的紅外圖像三種成份進行融合獲得圖像B：S3、將融合后的圖像A和B相加，獲得最終融合結果。本發明能有效地將紅外圖像中的顯著目標信息和可見光圖像中的背景信息融合起來，為后續高價值目標檢測和識別等夜視條件下的計算機視覺任務提供更加有效的特征。

技術領域

本發明屬于計算機視覺和圖像處理技術領域，涉及紅外圖像和可見光圖像的融合，特別涉及一種基于早期視覺信息處理的紅外圖像和可見光圖像融合方法。

背景技術

紅外圖像與可見光圖像融合是一種重要的圖像增強技術，它將不同波段的特征融合在一起，得到一幅信息更加豐富的圖像。可見光圖像總是能非常詳細地顯示背景，而紅外圖像則能清楚地顯示一個可能被偽裝起來的目標，以便進行視覺檢測和識別。可見光圖像和紅外圖像的融合可以顯示出比單一圖像更多的信息。幾十年來，圖像融合問題在不同的方案下得到了發展，其中具有代表性的技術路線包括基于多尺度特征分解的方法，基于稀疏表示的方法，基于顯著性特征提取的方法，以及其他先進的融合方法。近年來，隨著深度學習的興起，也有將神經網絡運用到圖像融合的方法，大都獲得更可靠的結果。

對于大多數融合方法，它們大多數都是非生物視覺機制啟發的。Waxman等則模擬生物視覺系統的顏色拮抗和空間拮抗信息處理機制將兩個灰度源圖像融合成一個彩色圖像。參考文獻：Waxman?AM,Gove?A?N,Fay?D?A,et?al.Color?night?vision:opponentprocessing?in?the?fusion?of?visible?and?IR?imagery[J].Neural?Networks,1997,10(1):1-6.，但Waxman等人的方法融合出來的圖像損失了部分源圖像的信息，以及在圖像色彩表現上不夠自然，難以在視覺效果上給出一個令人滿意的結果。

發明內容

本發明的目的在于克服現有技術的不足，提供一種能有效地將紅外圖像中的顯著目標信息和可見光圖像中的背景信息融合起來，得到一幅信息更為豐富的融合圖像，為后續高價值目標檢測和識別等夜視條件下的計算機視覺任務提供更加有效的特征的基于早期視覺信息處理的紅外圖像和可見光圖像融合方法。

本發明的目的是通過以下技術方案來實現的：基于早期視覺信息處理的紅外圖像和可見光圖像融合方法，包括以下步驟：

S1、On中心型神經元和Off中心型神經元的動態感受野處理：使用動態感受野模型分別對輸入的紅外圖像和可見光圖像進行卷積濾波處理；

S2、獲得融合圖像A和融合圖像B：將可見光圖像的On中心型神經元響應，紅外圖像的Off中心型神經元響應，以及原始的可見光圖像三種成份，根據可見光圖像的對比度層次進行融合，獲得融合后的圖像A；將紅外圖像的On中心型神經元響應，可見光圖像的Off中心型神經元響應，以及原始的紅外圖像三種成份，根據紅外圖像的對比度層次進行融合，獲得融合后的圖像B：

S3、將融合后的圖像A和B相加，獲得紅外圖像和可見光圖像的最終融合結果。

進一步地，步驟S1具體實現方法為：使用動態感受野模型分別對輸入的紅外圖像和可見光圖像進行卷積濾波處理，具體方法為：