[發明專利]一種基于改進的卡爾曼濾波的實時數字視頻穩像方法

在審

• 申請號: 201410389926.4
• 申請日: 2014-08-10
• 公開（公告）號: CN104144283A
• 公開（公告）日: 2014-11-12
• 發明（設計）人: 宋繼飛;馬曉紅
• 申請（專利權）人: 大連理工大學
• 主分類號: H04N5/21
• 分類號: H04N5/21;H04N5/14
• 代理公司: 大連星海專利事務所 21208
• 代理人: 王樹本

1.一種基于改進的卡爾曼濾波的實時數字視頻穩像方法，其特征在于包括以下步驟：?

步驟1：建立幀間運動模型：選用Similarity運動模型對圖像序列的運動進行描述，以反映圖像序列幀間的平移、繞光軸旋轉和變焦運動，其運動模型為?

其中，(x,y)和(x',y')分別表示每個像素點在參考幀和當前幀的坐標，s代表攝像機的變焦系數，θ代表幀間圖像的旋轉角度，d_x、d_y分別代表水平和垂直方向的偏移量；對于安防監控或手持成像小幅抖動的情況下，圖像序列幀間的偏轉角θ很小，認為cosθ≈1，sinθ≈θ；同時，變焦系數s保持不變，設為1，這樣，(1)式的簡化模型為：?

步驟2：對圖像進行分塊：將圖像分成一系列8×8的圖像塊，圖像塊應選在具有明顯圖像特征且不為運動前景目標的區域；?

步驟3：改進的菱形快速塊匹配：按照絕對平均誤差函數(Mean?Absolute?Difference,MAD)準則進行匹配；選取以當前幀選定子塊為中心的8×8個像素點，進行對應上一幀的相同位置和周圍8個方向的搜索，使用菱形搜索算法大模板，搜索的單位步長為2，具體包括以下子步驟(a)、(b)及(c)；?

步驟(a)：若匹配后，最小位置為9個位置中的中心位置，則執行步驟(c)，否則，最小位置為外圍的8個位置，則執行步驟(b)；?

步驟(b)：記錄當前最小位置的MAD值，記為MAD₀，并沿著該最小位置的方向再進行一次匹配，得到新的MAD值，記為MAD₁，若MAD₁小于MAD₀，則循環執行步驟(b)，若MAD₁大于或等于MAD₀，則跳轉到步驟3；?

步驟(c)：匹配后，最小位置為9個位置中的中心位置，則以步驟(a)得到的最小MAD值的位置為初始位置，進行對應上一幀的相同位置和周圍4個方向的搜索，使用菱形搜索算法小模板，得到當前的最小MAD值即為最佳匹配位置：?

步驟4：基于最小二乘的全局運動估計：對式(1)進行整理，得到的矩陣方程：?

根據每個8×8的圖像塊得到的運動矢量及匹配點對，利用隨機采樣一致性(Random?Sample?Consensus,RANSAC)剔除錯誤的匹配點對，并利用保留下來的正確值以及式(4)對參數s,θ,d_x,d_y進行最小二乘估計；利用最小二乘估計思想估計出的全局運動參數，即得到了當前幀相對于上一幀的全局運動向量，即GMV＝[GMV_s,GMV_θ,GMV_x,GMV_y]＝[s,θ,d_x,d_y]；?

步驟5：利用改進的卡爾曼濾波器對圖像序列進行補償，具體包括子步驟(a)、(b)、(c)、(d)、(e)及(f)；?

步驟(a)：根據狀態空間理論對穩像系統進行建模，系統的狀態方程和觀測方程分別為：?

其中，Φ、Γ和H分別為傳遞矩陣、輸入矩陣和觀測矩陣；x(k)、y(k)和u(k)分別為狀態向量、觀測向量和控制向量，而v(k)和w(k)代表噪聲向量；為了簡化起見，采用具有兩個狀態和單觀測的線性系統進行建模，其中Φ，Γ和H的取值如下：?

步驟(b)：用PGMV表示全局運動矢量GMV的累加量，PGMV(k-1)表示GMV從第1幀到第k幀的累加值，將PGMV的各個分量分別送入一維的卡爾曼濾波器中進行濾波，則得到：?

其中，Ko(k-1)＝[Ko_s(k-1),Ko_θ(k-1),Ko_x(k-1),Ko_y(k-1)]表示四個卡爾曼濾波器在第k-1時刻的輸出，PGMV(k-1)和Ko(k-1)兩個矢量之間的差表示第k-1幀的運動補償矢量，CMV(k-1)＝[CMV_s(k-1),CMV_θ(k-1),CMV_x(k-1),CMV_y(k-1)]第k-1幀的抖動運動矢量用JMV(k-1)＝[JMV_s(k-1),JMV_θ(k-1),JMV_x(k-1),JMV_y(k-1)]表示，其在數值上與第k-1幀的運動補償矢量CMV(k-1)相等；?

步驟(c)：根據卡爾曼濾波器理論對狀態進行預測；?

其中，和是根據k時刻對k+1時刻的估值，而P(k)為協方差矩陣，P(k+1|k)是其根據當前時刻對下一時刻的估值，另外，噪聲信號v(k)和w(k)認為是不相關的，R₁為噪聲信號v(k)的方差；?

步驟(d)：引入場景識別參數，λ＝[λ_s,λ_θ,λ_x,λ_y]，來識別當前場景為追拍運動或是抖動運動，λ值由下式確定：?

其中，L表示選取一定時間段內JMV的窗長，當某一個參量方向上存在追拍運動時，參數λ在這個方向上的數值大，反之，λ將是一個接近于0的很小值；?

步驟(e)：根據λ的值確定第k幀觀測噪聲方差R(k)的值：?

其中f(·)為非線性函數，而且隨著λ的增大而遞減，這里給出一個參考的非線性函數，參考函數中，參量k_p的經驗值取100；?

當某一個參數方向存在追拍時，由參量確定的R(k)會很小，因而能很好的發揮卡爾曼濾波器的跟蹤特性；反之，當前只存在隨機抖動，R(k)的值很大，能很好的發揮卡爾曼濾波器的平滑作用；?

步驟(f)：利用改進的卡爾曼濾波器和步驟(e)確定的觀測噪聲方差R(k)，?對狀態進行更新：?

這里，R(k)為標量而非矢量，這是由于采用系統模型是單觀測的，若采用多觀測的系統模型，則應用R(k)來表示觀測噪聲的協方差矩陣；?

步驟6：對含抖動的圖像序列進行補償：將運動補償得到的運動補償向量的各個參量，CMV＝[s',θ',d'_x,d'_y]以及原圖像的像素位置代入下式，進行補償：?

并將像素賦給新的坐標位置(x',y')，即完成了穩像；如果采取簡化后的模型，則應用下式進行補償：?

。