[發明專利]一種基于區域特征的視頻幀間拼接方法

在審

• 申請號: 201410261394.6
• 申請日: 2014-06-12
• 公開（公告）號: CN105303518A
• 公開（公告）日: 2016-02-03
• 發明（設計）人: 顧國華;韓魯;劉恒建;余明;孫愛娟;任侃;錢惟賢
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 唐代盛;孟睿

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于區域特征的視頻幀間拼接方法。

背景技術

隨著無人機在軍事偵察、抗災救災及遙感遙測等領域的廣泛應用，航拍視頻的圖像拼接技術引起了國內外學者專家的重視。使用圖像拼接技術將無人機獲取的視頻序列拼接成一幅覆蓋全范圍的全景圖，有利于目標的準確定位、檢測與跟蹤。圖像拼接的核心與重點是圖像配準，圖像配準的精度及算法量直接影響圖像拼接的精度及實時性。在航拍視頻中，圖像的全局運動通常是指由于飛行器和機載攝像機引起的圖像背景的運動，而運動的目標通常較小，因此圖像的全局運動占主導地位。

現有的航拍視頻的拼接方法主要分為直接法和特征法兩類。其中直接法比較有代表意義的是attiato在對圖像局部塊運動估計的基礎上通過最小二乘法實現對圖像的全局運動估計進而實現圖像配準，該方法取得了很好的效果，然而該方法在圖像局部差異較小的情況下容易失效，且受環境的影響較大。相比之下，特征法的應用較為廣泛，比如brown和lowe采用SIFT實現了對不同圖像的配準并將其應用于離線狀態下的圖像拼接，該方法精度較高，但算法耗時長、實時性差；Steedly在視頻拼接中采用MOPMulti-scaleOrientedPatches來實現視頻幀間配準計算效率，但其實時性還是無法滿足無人機航拍視頻快速拼接的要求。

發明內容

本發明提出一種基于區域特征的視頻幀間拼接方法，在保證精度的前提下，降低了計算量，提高了算法的實時性，同時降低環境變化對圖像拼接的影響。

為了解決上述技術問題，本發明提供一種基于區域特征的視頻幀間拼接方法，包括以下步驟：

步驟一：同步控制攝像機和慣性傳感器工作，使用攝像機獲得待拼接圖像中每個像素的深度信息，使用慣性傳感器獲得攝像機的運動參數，并計算出待拼接圖像的全局光流；

步驟二：在待拼接圖像中，使用局部光流擬合法提取符合圖像全局運動的局部特征區域；

步驟三：在局部特征區域中，使用FAST特征提取算子提取圖像的FAST特征點；

步驟四：使用SAD算子對參考圖像和待拼接圖像中的FAST特征點進行配準，基于FAST特征點并結合RANSAC算法計算出待拼接圖像的全局運動投影變換矩陣；

步驟五：結合漸入漸出加權平均算法完成待拼接圖像與參考圖像的無縫拼接。

本發明與現有技術相比，其顯著優點在于：(1)實際應用中，由于航拍場景較為復雜，區域運動估計的不確定性及運動目標的干擾降低了全局運動的估計精度，本發明提出了基于區域特征的圖像全局運動估計的快速配準算法，提高了精度；(2)本發明基于慣性傳感器和Kinect攝像機組成的硬件平臺完成圖像全局光流的計算，不僅降低了本發明的計算量，提高了實時性，還排除了環境對于光流計算的影響，具有較高的環境魯棒性；(3)本發明通過在整幅圖像中提取局部特征區域進行圖像配準方式來大幅度地降低了圖像拼接的計算量和計算時間；(4)本發明采用改進的FAST提取算子代替經典的SIFT算子進行特征計算，再次降低算法的計算復雜度。

附圖說明

圖1為本發明基于區域特征的視頻幀間拼接方法流程圖；

圖2為本發明使用的FAST特征提取算子示意圖；

圖3為本發明使用的漸入漸出算法示意圖。

具體實施方式

如圖1所示，本發明基于區域特征的視頻幀間拼接方法，實現步驟如下所述：

步驟一：同步控制攝像機和慣性傳感器工作，使用攝像機獲得待拼接圖像中每個像素的深度信息，使用慣性傳感器獲得攝像機的運動參數，并計算出待拼接圖像的全局光流；

步驟二：在待拼接圖像中，使用局部光流擬合法提取符合圖像全局運動的局部特征區域；

步驟三：在局部特征區域中，使用FAST特征提取算子提取圖像的FAST特征點；

步驟四：使用SAD算子對參考圖像和待拼接圖像中的FAST特征點進行配準，基于FAST特征點并結合RANSAC算法計算出待拼接圖像的全局運動投影變換矩陣；

步驟五：結合漸入漸出加權平均算法完成待拼接圖像與參考圖像的無縫拼接。

上述步驟一的具體實現如下：

步驟1.1：同步控制慣性傳感器及Kinect攝像機的工作，攝像機可以采用Kinect攝像機，Kinect攝像機同時包括深度圖像獲取CCD和彩色圖像獲取CCD，可以同時獲取彩色圖像和深度圖像；慣性傳感器中包括陀螺儀和加速度計。