[發明專利]一種用于攝錄設備的高速多路實時穩像方法

在審

• 申請號: 202011173340.6
• 申請日: 2020-10-28
• 公開（公告）號: CN112287819A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 劉志勇
• 申請（專利權）人: 武漢三力通信有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;H04N19/527;H04N19/80
• 代理公司: 北京天奇智新知識產權代理有限公司 11340
• 代理人: 楊文錄

1.一種用于攝錄設備的高速多路實時穩像方法，其特征在于，包括以下步驟：

S1、建立按時間線緩存的視頻幀隊列，所述視頻幀隊列包括n幀按拍攝時間先后順序排列的圖像；

S2、將n幀圖像灰度化；

S3、通過Good Features to Track強角點搜索算法計算得到的首幀圖像的強角點；

S4、其他幀相對首幀進行光流計算得到強角點的對應點；

S5、幀間全局運動矢量估計

選用Affine仿射變換運動模型表征視頻幀間的運動，表達視頻幀之間的平移、旋轉、縮放等一般變換，運動模型參見公式6：

其中(t_x，t_y)表示平移量，參數a_i(i＝1，2，3，4)反應圖像旋轉、縮放等變化，公式6中仿射變換的方程組有6個未知數，需要找到3組映射點，同時，為消除不同匹配點導致的觀測結果之間產生矛盾，采用RANSAC算法進行隨機采樣，該算法需要進行如下基本假設：給定數據大部分由“局內點”組成；給定數據包含少部分的“局外點”，它不能適應給定數據決定的模型；除“局內點”之外，也包含一些噪聲數據；進一步的：給定一組局內點，存在一個可以求解的模型參數，而該模型能夠解釋或者適用于局內點，從匹配數據集中隨機抽出3組特征匹配點對并保證這3個點對之間不共線，計算出單應性矩陣H，然后利用這個模型H測試所有數據，并計算滿足這個模型數據點的個數與重投影誤差，即代價函數L(H)，函數按公式7計算：

若此模型H為最優模型，則對應的代價函數最小，其中RANSAC的最大迭代次數k設置為100，置信度p設置為0.995；

通過上述方法獲得視頻幀隊列中相對隊列首幀的單應性矩陣序列H_n＝{H_t+1，H_t+2，……，H_t+n-2，}，然后基于線性變化的特點，依次用H_n序列中后一個運動參數矩陣除以前一個參數矩陣，得到n幀相鄰圖像的運動變換矩陣H'_n＝{H_t+2/H_t+2，……，H_t+n-1/H_t+n-2}；

S6、通過幀間Kalman運動濾波獲取意向運動；

進行Kalman運動濾波的具體步驟：

上一步驟中幀間全局運動矢量估計的最優估計包含了攝錄設備的意向運動分量、抖動分量、視頻中動態場景的運動分量，為了只對抖動分量進行補償，需要從全局運動估計中分離出意向運動分量；

采用kalman濾波求解t幀到t+1幀全局運動矢量其中，需要求解旋轉角度θ_t+1，x軸方向的縮放尺度為Sx_t+1、y軸方形的縮放尺寸為Sy_t+1，x軸方向和y軸方向的平移分量分別為dx_t+1，dy_t+1，全局運動矢量

具體步驟為：已知t-1到t幀的kalman濾波后驗狀態估計結果和P_t，通過步驟S5中求解的t到t+1幀的全局運動矢量估計向量首幀到t+1幀共t個全局運動矢量的累計和為Sumt，運動模型中θ_t+1，dx_t+1，dy_t+1，Sx_t+1，Sy_t+1這5個分量的協同差矩陣為Σ_t+1,設置各分量的過程激勵噪聲協方差為Q0＝0.004，全局運動矢量估計的觀測噪聲協方差為R0＝0.5，先驗狀態估計協方差矩陣Σ₀為單位矩陣，則其濾波過程的kalman增益可以通過公式8計算：

Kt+1＝(Σ_t+1+Q)/(Σ_t+1+Q+R) 公式8

kalman濾波后的意向運動矢量為通過公式9計算

5個分量的后驗估計協方差矩陣Σ_t+1量測更新為公式10：

∑_t+1′＝(1-K_t+1)*∑_t+1 公式10

當前的卡爾曼濾波過程的后驗估計結果和∑_t+1′不僅可以作為本次計算的最終結果，還能夠作為下一次的先驗估計的初始值，完成5個分量的kalman濾波；

S7、通過仿射變換矩陣的計算方法獲取穩像結果；

S8、視頻幀補償，輸出穩像結果。