[發明專利]可見光和熱紅外圖像序列自動配準方法

有效

• 申請號: 201210027552.2
• 申請日: 2012-02-09
• 公開（公告）號: CN102609945A
• 公開（公告）日: 2012-07-25
• 發明（設計）人: 張艷寧;張秀偉;仝小敏;楊濤;余瑞
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 王鮮凱

技術領域

本發明涉及一種圖像序列自動配準方法，特別是涉及一種可見光和熱紅外圖像序列自動配準方法。

背景技術

文獻“Torabi?A，Masse?G，Bilodeau?G-A，et?al.Feedback?scheme?for?thermal-visible?video?registration，sensor?fusion，and?people?tracking.In：Proceedings?of?the?IEEE?Conference?on?Computer?Vision?and?Pattern?Recognition-Workshop，2010，15～22.”公開了一種基于運動目標軌跡和運動目標剪影的可見光-熱紅外圖像序列配準方法。該方法首先基于RANSAC軌跡匹配使得軌跡對應點和兩類傳感器運動前景重疊最大來估計變換模型參數；然后，在配準參數的基礎上，對兩類傳感器的檢測結果進行sum規則融合，并基于融合檢測結果對可見光-熱紅外序列分別進行跟蹤，根據剪影重疊率判斷是否需要再次配準，對于需要再次配準的情況，基于融合檢測的運動軌跡和剪影對同步序列進行配準和修正。該方法需要較好的運動檢測結果，但在觀測背景復雜，場景中目標的運動檢測結果均較差時，該方法的配準會出現較大誤差，并且無法適應存在頻繁運動的擁擠場景。

發明內容

為了克服現有的可見光-熱紅外圖像序列配準方法配準精度差的不足，本發明提供一種可見光和熱紅外圖像序列自動配準方法。該方法利用圖像像素的歸一化光流時序特征和三層逐步精細化的相似性度量方法選取候選同名點對。歸一化光流時序特征，針對圖像像素的運動時序特征，而非針對整個運動目標，在計算時僅需要目標局部信息，不易受到的陰影、遮擋、目標部分出現及目標擁擠環境等問題的影響。可以解決復雜監控環境下的可見光-熱紅外圖像序列自動配準問題，提高可見光-熱紅外圖像序列配準的精度。

本發明解決其技術問題所采用的技術方案是：一種可見光和熱紅外圖像序列自動配準方法，其特點是包括以下步驟：

步驟一、對輸入的可見光和熱紅外同步圖像序列，使用迭代Lucas-Kanade金字塔光流算法對可見光和熱紅外圖像序列計算各幀圖像的光流向量；在光流向量濾波、光流時間序列篩選的基礎上，使用運動方向和運動模值兩類信息，提取具有平移、旋轉、尺度不變性的圖像像素的歸一化光流時序特征。

分別對可見光圖像序列和熱紅外圖像序列中的圖像像素使用迭代Lucas-Kanade金字塔光流法計算光流向量；設圖像序列像素點(i，j)在第t幀圖像的x和y方向的光流向量用d_x(i，j，t)和d_y(i，j，t)表示，通過公式(1)獲得t時刻像素點(i，j)運動向量的模值，

r(i,j,t)=(dx(i,j,t))2+(dy(i,j,t))2---(1)]]>

通過公式(2)計算出t時刻像素點(i，j)運動向量的方向角，