[發明專利]一種無人機視頻實時快速正射拼接系統及其拼接方法

在審

• 申請號: 201911418284.5
• 申請日: 2019-12-31
• 公開（公告）號: CN111161154A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 謝東海;王永威;彭齊路
• 申請（專利權）人: 航天圖景（北京）科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/73
• 代理公司: 北京力量專利代理事務所(特殊普通合伙) 11504
• 代理人: 姚遠方

本發明公開了一種無人機視頻實時快速正射拼接系統及其拼接方法，所述系統包括關鍵幀選取模塊、特征點提取模塊、特征點匹配模塊、圖優化校正模塊。所述關鍵幀選取模塊用于從實時視頻數據中選取拼接處理的關鍵幀圖像；所述特征點提取模塊用于從關鍵幀圖像中提取與相鄰關鍵幀圖像有對應關系的特征點；所述特征點匹配模塊通過特征點匹配計算相鄰關鍵幀的相機相對位置和姿態數據；所述圖優化校正模塊利用特征點匹配結果調整每個關鍵幀的相機位置和姿態數據對應圖優化中的節點，優化校正每個關鍵幀的相機位置和姿態數據。本發明利用無人機視頻的POS信息、圖像特征信息等多種數據的優勢和圖優化技術，實現高精度、高速度的無人機視頻實時快速正射拼接。

技術領域

本發明涉及數據處理領域，具體是一種無人機視頻實時快速正射拼接系統及其拼接方法。

背景技術

目前測繪行業已廣泛使用無人機搭載相機，獲取中小區域地表的高分辨率圖像信息，進而處理生成地表正射影像和三維模型。數據處理采用傳統的離線處理模式，利用攝影測量的方法恢復地表的三維點云和每張照片對應的相機位置與姿態信息，通過密集匹配獲取數字表面模型(DSM)和拼接后的正射影像(DOM)。該模式需要無人機飛行作業后下載影像數據并使用專業系統處理生成正射影像和三維模型成果，耗時數個小時至數天，一般針對高清相機的靜態圖像制作高精度成果，主要用于地圖制作等測繪任務。

但是在應急救援、安全保衛、偵察執法等現場監控指揮領域，需要基于實時傳輸的無人機視頻數據進行實時快速拼接生成動態正射影像，以實現對監控區域的實時態勢感知和深度應用。

現有的通用拼接方法中，直接利用無人機POS數據進行拼接，可能因無人機飛行過程中POS精度不穩定導致拼接成果頻繁出現明顯的接縫；直接利用圖像特征點匹配進行拼接，可能因局部區域特征點數量較少或者匹配失敗導致拼接中斷無法持續完成整體拼接成果。

發明內容

基于目前常用視頻正射拼接方法的缺陷，本發明提出一種綜合利用多種信息的無人機視頻實時快速正射拼接方法，該方法以POS數據作為相機位置和姿態的初始值，利用關鍵幀圖像特征點提取和匹配結果來構建圖優化的約束，然后基于圖優化對相機位置和姿態進行優化更新，最后利用優化后的相機位置和姿態來進行視頻圖像的實時快速正射拼接。

為實現上述目的，本發明提供如下技術方案：

一種無人機視頻實時快速正射拼接系統，包括關鍵幀選取模塊、特征點提取模塊、特征點匹配模塊、圖優化校正模塊；

所述關鍵幀選取模塊用于從實時視頻數據中選取拼接處理的關鍵幀圖像；

所述特征點提取模塊用于從關鍵幀圖像中提取與相鄰關鍵幀圖像有對應關系的特征點；

所述特征點匹配模塊通過特征點匹配計算相鄰關鍵幀的相機相對位置和姿態數據；

所述圖優化校正模塊利用特征點匹配結果調整每個關鍵幀的相機位置和姿態數據對應圖優化中的節點，優化校正每個關鍵幀的相機位置和姿態數據。

作為本發明再進一步的優選方案,所述關鍵幀選取模塊確定關鍵幀的方法為：利用POS數據、飛行高度數據以及相機標定參數來確定每張視頻圖像在地面上的覆蓋范圍，然后根據覆蓋范圍來計算出圖像重疊度，最后根據航帶內以及航帶之間的圖像重疊度來判斷當前幀是否是一個關鍵幀。

作為本發明再進一步的優選方案，航帶內相鄰的所述關鍵幀圖像重疊度要求達到80％以上，不同航帶之間的相鄰的所述關鍵幀圖像重疊度要求達到30％以上。

作為本發明再進一步的優選方案，計算所述關鍵幀圖像重疊度時，假設飛行高度不變，并且假設地平面沒有起伏，那么相鄰關鍵幀圖像對應的地表區域在XY平面上可以用矩形R₁和R₂來表示，重疊率iou的計算公式如下：