[發明專利]一種基于運動區域圖像清晰度的多模視頻圖像配準方法

有效

• 申請號: 201810976613.7
• 申請日: 2018-08-25
• 公開（公告）號: CN109285183B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 張俊舉;朱凱;李英杰;馮英旺;涂友鋼;陳軍;沈玉姣;周園松
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/187
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 馬魯晉

本發明公開了一種基于運動區域圖像清晰度的多模視頻圖像配準方法，包括以下步驟：首先分別獲取可見光、紅外視頻序列中的運動目標區域模板分別為CCD'、IR；之后分別構建可見光、紅外視頻序列的匹配特征點集M、N；然后根據特征點集M、N，求取可見光、紅外視頻序列中的運動目標區域粗配準的最佳矩陣H_cp；接著通過運動目標區域粗配準的最佳矩陣H_cp對CCD'、IR進行配準，獲得運動目標區域粗配準后的IR即IR'；然后通過求取IR'的全局清晰度，獲取可見光視頻序列、紅外視頻序列中的運動目標區域精配準的最佳矩陣H_jp；最后將IR經過H_jp變換后映射到CCD'上，獲得最終的配準融合圖像。本發明的方法可以獲得最大的目標重合率，具有較高的配準精度，對于復雜背景和多目標的圖像也具有很好的魯棒性。

技術領域

本發明屬于圖像配準領域，特別涉及一種基于運動區域圖像清晰度的多模視頻圖像配準方法。

背景技術

圖像配準技術作為一項成熟的圖像處理技術，廣泛的運用于遙感圖像、SAR圖像及醫學圖像等領域的前期處理。而多模圖像的配準作為圖像配準的新方向，還處于起步階段，有大量的技術難題亟需解決。在遠距離視頻監控領域，不同探測器獲取的多源圖像的目標配準問題成為阻礙圖像融合技術發展的關鍵。

目前常用的圖像配準方法主要有兩類：基于灰度的圖像配準方法以及基于特征的圖像配準方法，前者利用圖像的灰度信息，計算配準圖像間的相似性度量，然后在選定的幾何變換模型參數空間內，按照一定的搜索算法進行搜索，從而找到相似度最大的幾何變換參數。后者不直接對圖像灰度信息進行操作，而是從基準圖像和浮動圖像中提取一些共同特征作為配準基元，然后通過建立配準基元之間的對應關系估算出基準圖像與浮動圖像之間幾何變換模型及其參變量值，兩種方法各有優缺點，仍需進一步進行深入研究。

2012年，柏連發等人在《Registration algorithm of infrared and visibleimages based on improved gradient normalized mutual information and particleswarm optimization》一文中，提出了一種基于改進梯度互信息和粒子群優化算法的紅外與可見光圖像配準算法。2017年，楊歡等人發表了一篇《紅外與低照度圖像配準研究》，在原SURF的基礎上從主方向的確定和特征點的描述兩個方面進行了改進，提高了主方向的精度并降低了描述子的維數。這些方法在簡單場景的配準時取得了較好的效果，但對于復雜背景下的多目標圖像配準效果不佳。因此，針對復雜背景下，多目標以及運動目標場景的多模視頻圖像配準的問題，優化配準算法，提高配準精度具有重要的意義。

發明內容

本發明的目的在于提供一種基于運動區域圖像清晰度的多模視頻圖像配準方法。

實現本發明目的的技術解決方案為：一種基于運動區域圖像清晰度的多模視頻圖像配準方法，包括以下步驟：

步驟1、分別獲取可見光視頻序列、紅外視頻序列中的運動目標區域模板，并分別記為CCD'、IR；

步驟2、分別構建可見光視頻序列、紅外視頻序列的匹配特征點集M、N；

步驟3、根據特征點集M、N，求取可見光視頻序列、紅外視頻序列中的運動目標區域粗配準的最佳矩陣H_cp；

步驟4、通過運動目標區域粗配準的最佳矩陣H_cp對CCD'、IR進行配準，獲得運動目標區域粗配準后的IR，記為IR'；

步驟5、通過求取IR'的全局清晰度，獲取可見光視頻序列、紅外視頻序列中的運動目標區域精配準的最佳矩陣H_jp；

步驟6、將步驟1中獲取的IR經過H_jp變換后映射到CCD'上，獲得最終的配準融合圖像。