[發明專利]一種無人機視頻實時快速正射拼接系統及其拼接方法

在審

• 申請號: 201911418284.5
• 申請日: 2019-12-31
• 公開（公告）號: CN111161154A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 謝東海;王永威;彭齊路
• 申請（專利權）人: 航天圖景（北京）科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/73
• 代理公司: 北京力量專利代理事務所(特殊普通合伙) 11504
• 代理人: 姚遠方

1.一種無人機視頻實時快速正射拼接系統，其特征在于，包括關鍵幀選取模塊、特征點提取模塊、特征點匹配模塊、圖優化校正模塊；

所述關鍵幀選取模塊用于從實時視頻數據中選取拼接處理的關鍵幀圖像；

所述特征點提取模塊用于從關鍵幀圖像中提取與相鄰關鍵幀圖像有對應關系的特征點；

所述特征點匹配模塊通過特征點匹配計算相鄰關鍵幀的相機相對位置和姿態數據；

所述圖優化校正模塊利用特征點匹配結果調整每個關鍵幀的相機位置和姿態數據對應圖優化中的節點，優化校正每個關鍵幀的相機位置和姿態數據。

2.根據權利要求1所述的無人機視頻實時快速正射拼接系統，其特征在于，所述關鍵幀選取模塊確定關鍵幀的方法為：利用POS數據、飛行高度數據以及相機標定參數確定每張視頻圖像在地面上的覆蓋范圍，然后根據覆蓋范圍來計算出圖像重疊度，最后根據航帶內以及航帶之間的圖像重疊度來判斷當前幀是否是一個關鍵幀。

3.根據權利要求2所述的無人機視頻實時快速正射拼接系統，其特征在于，航帶內相鄰的所述關鍵幀圖像重疊度要求達到80％以上，不同航帶之間的相鄰的所述關鍵幀圖像重疊度要求達到30％以上。

4.根據權利要求3所述的無人機視頻實時快速正射拼接系統，其特征在于，計算所述關鍵幀圖像重疊度時，假設飛行高度不變，并且假設地平面沒有起伏，那么相鄰圖像對應的地表區域在XY平面上用矩形R₁和R₂來表示，重疊率iou的計算公式如下：

5.根據權利要求1所述的無人機視頻實時快速正射拼接系統，其特征在于，所述特征點提取模塊利用特征點提取算法從關鍵幀圖像中得到特征點。

6.根據權利要求1所述的無人機視頻實時快速正射拼接系統，其特征在于，利用特征點匹配來建立相鄰關鍵幀圖像之間的特征點對應關系后，將所述特征點轉換為地面坐標。

7.根據權利要求6所述的無人機視頻實時快速正射拼接系統，其特征在于，所述特征點轉換為地面坐標的具體方法是：根據相機的標定參數以及飛行的高度數據將特征點投影到地面，假設地表是平坦的，即所有的地面點的高程值是相同的，在計算相機相對位置和姿態時，只需要考慮平面上的平移和旋轉，將三維位置與姿態計算問題簡化為二維平移與旋轉。

8.根據權利要求7所述的無人機視頻實時快速正射拼接系統，其特征在于，所述相機標定參數包括焦距、主點、畸變系數。

9.一種無人機視頻實時快速正射拼接方法，其特征在于，包括如下步驟：

(1)采用關鍵幀選取模塊從實時視頻數據中選取拼接處理的關鍵幀圖像；

(2)采用特征點提取模塊從關鍵幀圖像中提取與相鄰關鍵幀圖像有對應關系的特征點；

(3)采用特征點匹配模塊通過特征點匹配計算相鄰關鍵幀的相機相對位置和姿態數據；

(4)采用圖優化校正模塊利用特征點匹配結果調整每個關鍵幀的相機位置和姿態數據對應圖優化中的節點，優化校正每個關鍵幀相機的位置和姿態數據。