[發明專利]可見光和熱紅外圖像序列自動配準方法

有效

• 申請號: 201210027552.2
• 申請日: 2012-02-09
• 公開（公告）號: CN102609945A
• 公開（公告）日: 2012-07-25
• 發明（設計）人: 張艷寧;張秀偉;仝小敏;楊濤;余瑞
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 王鮮凱

1.一種可見光和熱紅外圖像序列自動配準方法，其特征在于包括以下步驟：

步驟一、對輸入的可見光和熱紅外同步圖像序列，使用迭代Lucas-Kanade金字塔光流算法對可見光和熱紅外圖像序列計算各幀圖像的光流向量；在光流向量濾波、光流時間序列篩選的基礎上，使用運動方向和運動模值兩類信息，提取具有平移、旋轉、尺度不變性的圖像像素的歸一化光流時序特征；

分別對可見光圖像序列和熱紅外圖像序列中的圖像像素使用迭代Lucas-Kanade金字塔光流法計算光流向量；設圖像序列像素點(i，j)在第t幀圖像的x和y方向的光流向量用d_x(i，j，t)和d_y(i，j，t)表示，通過公式(1)獲得t時刻像素點(i，j)運動向量的模值，

r(i,j,t)=(dx(i,j,t))2+(dy(i,j,t))2---(1)]]>

通過公式(2)計算出t時刻像素點(i，j)運動向量的方向角，

q(i,j,t)=arcsin(dy(i,j,t)r(i,j,t))---(2)]]>

式中，arcsin為反正弦函數；為每個像素點(i，j)生成一個運動方向時間序列Seqq_L(i，j)，

Seqq_L(i，j)＝[q_L(i，j，1)，K，q_L(i，j，t)，K，q_L(i，j，T)]??????(3)

并同時記錄下其運動模值序列Seqr_L(i，j)，

Seqr_L(i，j)＝[r_L(i，j，1)，K，r_L(i，j，t)，K，r_L(i，j，T)]??????(4)

式中，L為圖像序列的標號，取值為IR表示紅外序列，CCD表示可見光序列，且1#i?N_L，1#j?M_L，N_L和M_L為L圖像序列的寬和高，T為圖像序列的長度；

采用濾波方法抑制錯誤的光流向量和運動序列，包括4個方面：(a)在計算光流前，采用3×3窗口，方差為0.5的高斯平滑濾波對圖像進行降噪處理；(b)在光流計算時，僅考慮運動前景區域中的像素，運動前景區域由改進混合高斯背景差分算法提取，將其余像素運動模值置為零；在獲得光流向量后，濾除運動模值小于0.1的光流向量，將其運動模值置為零；(c)在生成運動方向序列和運動模值序列時，不考慮圖像序列以一個像素為寬度的所有圖像的邊界像素；(d)將輸入圖像J按照其光流矢量進行插值映射，生成與圖像I對應的投影圖像I′，通過差分圖像I和I′，計算像素鄰域的平均灰度誤差；當誤差大于閾值e_thd時，認為該光流矢量的計算發生了錯誤，將該運動模值置為零；其中，I和I′均為灰度歸一化圖像；

使用運動累加次數初步篩選光流時間序列，即運動方向序列和運動模值序列，經過篩選的光流時間序列參與后續的運算；運動累加次數，即運動模值序列中非零元素的總個數，像素點(i，j)的運動累加次數用MtNum_L(i，j)表示，其具體計算如公式(5)所示，

光流時間序列的篩選過程如公式(6)所示，

式中，uMAX_L為序列L各像素中最大的運動累加次數，low_thd為低閾值，hgh_thd為高閾值，1表示經過篩選，0表示未經過篩選，不參與后續計算；

對運動方向序列進行量化編碼，用數字0到8來量化編碼運動方向；當(i，j)的光流模值r(i，j，t)為0時，其運動方向q量化編碼為0；當運動模值r(i，j，t)大于零時，將q量化為8個方向，量化編碼過程用公式(7)計算；

量化后的運動方向序列QSeqq(i，j)用公式(8)表示，

QSeqq_L(i，j)＝[Q_L(i，j，1)，K，Q_L(i，j，t)，K，Q_L(i，j，T)]???????????(8)

式中，Q(i，j，t)為像素(i，j)在t時刻運動方向的編碼；

對量化編碼后的運動方向序列QSeqq_L(i，j)進行方向歸一化；首先計算QSeqq_L(i，j)的1-8方向運動方向直方圖HistSeqq(i，j)，如公式(9)所示；

HistSeqq(i，j)＝[Histq(i，j，1)，Histq(i，j，2)，L，Histq(i，j，8)]???(9)

然后以直方圖中數值最大的方向MaxOrt為主方向，將所有運動方向按照順時針方向進行旋轉，直到主方向與1方向重疊時旋轉停止，其計算過程用公式(10)來描述，

式中，q為QSeqq(i，j)中某一運動的量化編碼；這里0方向不參與該運算，仍繼續保持0值，來表征未發生運動的狀態；方向歸一化后的運動方向序列NQSeqq_L(i，j)用公式(11)表示，

NQSeqq_L(i，j)＝[NQ_L(i，j，1)，K，NQ_L(i，j，t)，K，NQ_L(i，j，T)]????(11)

式中，NQ_L(i，j，t)為像素(i，j)在t時刻運動方向的歸一化編碼；

對于運動模值序列進行歸一化處理，使用各序列的模值之和作為歸一化因子，如公式(12)所示；

步驟二、采用三層逐步精細化的圖像像素光流時序特征相似性度量方式，針對基準圖像序列中的每個光流序列，從待配準圖像序列中選擇與其最相似的序列形成對應特征對，將對應特征對所在的兩個像素點視為同名點對；

第一層：運動頻次濾波；設基準圖像序列中某像素點(i，j)的總運動頻次為MtNum，從待配準圖像序列中選擇運動累加次數在[0.5MtNum，1.5MtNum]區間的運動方向序列作為候選的相似運動序列，形成候選序列集1，用CandSeqs1表示，CandSeqs1繼續參與后續的相似性度量；

第二層：運動方向直方圖匹配；針對方向歸一化后的NQSeqq_L(i，j)，統計計算其運動方向直方圖；采用Manhattan距離來度量兩個運動方向直方圖的相似性，計算候選集合CandSeqs1中各序列與基準運動方向序列的直方圖距離，記其最短距離為MinHistDist，將直方圖距離在區間[MinHistDist，maxHistValue]的CandSeqs1中的序列作為候選相似序列，形成候選集合CandSeqs2；其中maxHistValue首先取為2MinHistDist和0.5中較大的值，然后取maxHistValue和0.9中的較小的值；

第三層：光流時序特征距離匹配；首先采用運動方向序列的最短距離選擇候選序列，當存在多個候選序列時，再使用運動模值序列的最短距離進行進一步選擇，并將對應特征所在兩個像素點視為對應點對；在計算運動方向序列間的距離時，需要考慮運動方向編碼間的距離，采用公式(13)所示的方式計算，

式中，p和q為兩個運動方向的編碼，distOrtCod(p，q)為兩運動編碼間的距離；

兩運動方向序列間的距離為distOrtSeq，(鬃)，如公式(14)所示，NQSeqq_IR(i，j)和NQSeqq_CCD(m，n)分別為熱紅外圖像中像素(i，j)的運動方向序列和可見光圖像中像素(m，n)的運動方向序列；

運動模值序列間的距離用函數distModSeq，(鬃)計算，如公式(15)所示，

式中，NSeqr_IR(i，j)表示紅外序列中像素(i，j)的歸一化模值序列，NSeqr_CCD(m，n)表示可見光序列中像素(m，n)的模值序列；

步驟三、使用級聯RANSAC算法剔除外點，結合直接線性變換和Levenberg-Marquardt算法求解可見光和熱紅外兩圖像序列間的變換模型參數；