[發明專利]無人機航拍視頻實時全景圖拼接方法

有效

• 申請號: 201110085596.6
• 申請日: 2011-04-07
• 公開（公告）號: CN102201115A
• 公開（公告）日: 2011-09-28
• 發明（設計）人: 王橋生
• 申請（專利權）人: 湖南天幕智能科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;H04N5/232
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及視頻圖像全景圖的拼接，尤其涉及采用現代視頻場景拼接技術與無人機飛行控制系統相結合的無人機航拍視頻實時全景圖拼接方法。

背景技術

近年來，隨著自動控制、無線傳輸等技術的發展，無人機在軍事、民用上都發展迅速。由無人機搭載攝像機進行視頻拍攝在軍事偵察、廣告攝影、災情判斷等方面發揮了巨大作用。但是，由于攝像機的拍攝范圍和分辨率之間總是存在著分歧，往往整個飛行過程的視頻中包含整個場景的全部信息，而單幀圖像的信息卻非常有限，從而誕生了視頻圖像拼接技術。視頻圖像拼接技術是將視頻序列圖像轉化為一幅包含該序列所有信息的大視場寬視角的全景圖像，解決了因攝像設備限制而存在的拍攝角度小、無法全景觀測的問題。

由于無人機飛行拍攝時距離地面較遠并且垂直對地拍攝，因此可以合理的將圖像假設為由光軸互相平行的相機拍攝得到的，圖像之間僅存在位移變換。20世紀90年代有從業者Heung-Yeung?Shum(Heung?Yeung?Shum，Rendering?with?concentric?mosaics.Proceeding?of?SIGGRAPH’99，Los?Angeles，California：1999.8-13)(譯為：同心圓視圖渲染)提出同心圓拼圖，目前研究技術相對成熟，拼接效果也較好，得到了廣泛使用。但這種方法是基于特定攝像機運動的，即相機需要用三腳架固定在所拍攝景物中心位置，顯然不適用于我們的無人機載攝像機視頻圖像拼接。另有從業者D.Lowe(Matthew?Brown，David?G.Lowe，Automatic?Panoramic?Image?Stitching?using?Invariant?Features，IJCV?2007)(譯為：采用不變性特征的自動全景圖像拼接)為蘋果公司的iPhone手機設計了Autostitch場景圖像拼接系統，其主要步驟是：1、采用SIFT方法進行圖像幀的特征檢測；2、采用k-d樹進行相鄰圖像幀搜索和特征點匹配；3、利用匹配結果采用RANSAC方法進行圖像之間的單應計算；4、對所有圖像進行捆綁調整，優化幀圖像在全景中的位置；5、多頻帶圖像融合。

另外，比較成熟的圖像全景拼接軟件還有Hugin(http://hugin.sf.net.)和autopano-sift(http://user.cs.tu-berlin.de/～nowozin/autopano-sift/index.html).其主要思想跟Autositch類似。存在的主要問題有：1、這些拼接方法都是對已經獲取的圖像集進行拼接，無法實現無人機邊飛行邊拼接的效果，2、這些軟件都只適合圖像集數目較少的場景恢復，無法處理時序很長的圖像序列，3、采用SIFT進行特征檢測和全圖像幀捆綁調整策略，時間效率低。

傳統的在飛行時序上邊飛邊拼接算法通常采用幀到幀方式，通過局部對準過程將相鄰圖像依次連接起來，具體步驟為：首先對相鄰圖像進行特征點提取，再進行特征點匹配，然后根據得到的匹配點集，進行兩圖像間平面運動變換的魯棒估計，由此得到一系列局部變換矩陣T_i，i+1，即i幀圖像和i+1幀間的變換矩陣。若選擇第一幀圖像為參考幀(即全景圖像)后，第k幀(2≤k≤N)圖像到全景圖像間的變換矩陣可由下式得到：

Tref,k=Πi=1k-1Ti,i+1---(1)]]>