[發明專利]一種無人機視頻增強現實實現方法

有效

• 申請號: 201910123552.4
• 申請日: 2019-02-18
• 公開（公告）號: CN109872401B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 趙文;韓祖杰;劉小龍;范登科;王華;寧新穩;黃漪;張恒;宗偉麗;王嬌
• 申請（專利權）人: 中國鐵路設計集團有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/05
• 代理公司: 天津賽凌知識產權代理事務所(特殊普通合伙) 12270
• 代理人: 黃彩榮

1.一種無人機視頻增強現實實現方法，其特征在于，包括以下步驟：

S1)采用攝影測量方法進行相機檢校，獲取相機精確的內方位參數，之后無人機利用所述相機進行帶狀視頻采集，獲取關鍵幀影像；

S2)根據飛控或POS系統記錄的飛行軌跡和姿態數據內插計算獲取所述關鍵幀影像的初始外方位元素值；

S3)建立單航帶傾斜影像空三工程：由所述關鍵幀影像、初始外方位元素值和內方位參數，使用攝影測量空中三角測量方法，建立單航帶傾斜影像空三工程；

S4)采集控制點：在既有航測成果中采集像控點三維坐標，像控點沿帶狀分布；

S5)空三平差計算，獲取所述關鍵幀影像的精確的外方位元素值；

S6)影像密集匹配，獲取物方數字表面模型；

S7)根據所述外方位元素值，采用拉格朗日內插算法逐幀計算外方位元素值；

S8)在3DGIS系統中建立三維地理場景：在WGS84或GCCS2000橢球上建立三維地理場景，導入地理信息矢量圖層；在三維地理場景中添加三維模型、文字標注和圖形對象，并設置樣式；

S9)導入數字表面模型，將三維場景中的背景設置為黑色，僅顯示需在視頻中疊加的對象或圖層；

S10)根據所述外方位元素值，在三維場景中逐幀創建視點；

S11)在三維場景中，對所述視點逐個進行渲染，獲得序列幀信息影像，為所述序列幀信息影像添加透明通道，將黑色部分設置為透明；

S12)對步驟10)處理后的信息影像進行鏡頭畸變變換，獲得新的序列幀信息影像；

S13)視頻合成：將所述新的序列幀信息影像直接疊加到原始視頻中，獲得疊加了文字注記、圖形標注和三維模型的增強現實視頻成果。

2.如權利要求1所述的無人機視頻增強現實實現方法，其特征在于：所述步驟S1)中所述無人機采用支持2K及以上分辨率攝像功能的消費級多旋翼無人機，所述相機的相對于下視的擺動角度為30°-60°，沿著帶狀航線勻速飛行。

3.如權利要求1所述的無人機視頻增強現實實現方法，其特征在于：所述步驟S2)中，獲取相機精確的內方位參數的方法如下：

(1)無人機在視頻采集模式下，以下視視角采集十字交叉多航帶數據，航帶數>2，旁向重疊大于50％，航線長度大于3倍視場角；

(2)視頻抽幀，保證航向重疊>80％；

(3)使用帶自檢校功能的攝影測量空三平差軟件，在無控制點模式下進行空三處理，獲取相機的內方位參數。

4.如權利要求1所述的無人機視頻增強現實實現方法，其特征在于：

當使用高精度POS數據時，跳過所述步驟S4)，直接進行步驟5；

當使用低精度POS數據時，在既有的航測4D成果中量測像控點地理坐標；當無數據可參考時，需進行實地測量。

5.如權利要求1所述的無人機視頻增強現實實現方法，其特征在于：所述步驟S8)中所述地理信息矢量圖層為shape、dxf格式的基礎地理信息數據，及/或OpenStreetMap、WFS形式的地理信息服務數據。

6.如權利要求1所述的無人機視頻增強現實實現方法，其特征在于：所述步驟S10)中，在逐幀創建視點前，將相機的外方位元素從攝影測量采用的Omega-Phi-Kappa轉角系統轉換到3DGIS三維場景采用的Yaw-Pitch-Roll轉角系統，根據外方位元素中地位置和角度值在三維場景中創建視點，其中，轉角系統轉換的計算方法如下:

由旋轉角Omega、Phi、Kappa計算旋轉矩陣；

根據Yaw-Pitch-Roll轉角系統的固定軸旋轉順序RZ-RX-RY，推導旋轉矩陣；

由兩個旋轉矩陣各元素相等列方程組，由方程組解算Yaw、Pitch、Roll值。

7.如權利要求1所述的無人機視頻增強現實實現方法，其特征在于：所述步驟S12)中進行鏡頭畸變變換的方法為，根據像主點坐標和鏡頭畸變參數，將相機鏡頭畸變引入到信息影像中，使信息影像與原始視頻具備同樣的鏡頭畸變，進而實現自動配準。

8.如權利要求1所述的無人機視頻增強現實實現方法，其特征在于：所述步驟S13)中，所述新的序列幀信息影像與原視頻具有相同的幀率和影像寬高，將所述新的的序列幀信息影像直接疊加到原視頻上并對齊。