[發明專利]一種基于區域特征的視頻幀間拼接方法

在審

• 申請號: 201410261394.6
• 申請日: 2014-06-12
• 公開（公告）號: CN105303518A
• 公開（公告）日: 2016-02-03
• 發明（設計）人: 顧國華;韓魯;劉恒建;余明;孫愛娟;任侃;錢惟賢
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 唐代盛;孟睿

1.一種基于區域特征的視頻幀間拼接方法，其特征在于，包括以下步驟：

步驟一：同步控制攝像機和慣性傳感器工作，使用攝像機獲得待拼接圖像中每個像素的深度信息，使用慣性傳感器獲得攝像機的運動參數，并計算出待拼接圖像的全局光流；

步驟二：在待拼接圖像中，使用局部光流擬合法提取符合圖像全局運動的局部特征區域；

步驟三：在局部特征區域中，使用FAST特征提取算子提取圖像的FAST特征點；

步驟四：使用SAD算子對參考圖像和待拼接圖像中的FAST特征點進行配準，基于FAST特征點并結合RANSAC算法計算出待拼接圖像的全局運動投影變換矩陣；

步驟五：結合漸入漸出加權平均算法完成待拼接圖像與參考圖像的無縫拼接。

2.如權利要求1所述的基于區域特征的視頻幀間拼接方法，其特征在于，步驟一中，

使用慣性傳感器獲取攝像機的運動歐拉角[α，β，γ]、三軸位移[t_x，t_y，t_z]，并根據攝像機的運動參數計算出攝像機的運動外參矩陣[R,T]，其中α為章動角、β為進動角、γ為自轉角、t_x為x方向的位移，t_y為y方向的位移，t_z為z方向的位移；R為運動外參矩陣旋轉矩陣，T為運動外參矩陣的平移矩陣，旋轉矩陣R和平移矩陣T的計算公式如式(1)、(2)所示：

R=cosγcosβcosγsinβsinα-sinγcosγsinβcosα-sinαsinγsinγcosβsinαsinβsinγ+cosγcosαsinγsinβcosα+cosγsinα-sinβcosβsinαcosβcosα---(1)]]>

T＝[t_x,t_y,t_z]'(2)

公式(2)中，T為向量[t_x，t_y，t_z]的轉置形式，

所述待拼接圖像的全局光流的計算方法如式(3)和(4)所示：

u2u1m2=KRK-1m1+1u1KT---(3)]]>

d(u,v)＝m₂-m₁(4)

其中，通過公式(3)計算出參考圖像中的像素坐標m₁在待拼接圖像中的像素坐標m₂，根據公式(4)計算出像素坐標m₁的全局光流d(u,v)，其中u為像素坐標m₁的水平方向的全局光流，v為像素坐標m₁的垂直方向的全局光流，u₁、u₂分別為m₁和m₂的深度信息，K為攝像機的內參矩陣。