[發明專利]一種無人機視頻增強現實實現方法

有效

• 申請號: 201910123552.4
• 申請日: 2019-02-18
• 公開（公告）號: CN109872401B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 趙文;韓祖杰;劉小龍;范登科;王華;寧新穩;黃漪;張恒;宗偉麗;王嬌
• 申請（專利權）人: 中國鐵路設計集團有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/05
• 代理公司: 天津賽凌知識產權代理事務所(特殊普通合伙) 12270
• 代理人: 黃彩榮

本發明公開了一種基于攝影測量技術和3DGIS技術的無人機視頻增強現實實現方法，主要步驟包括：視頻抽幀、相機檢校、空三重建、3DGIS虛擬場景建立、序列幀影像渲染、視頻合成等。本發明利用了無人機POS數據，并利用空三平差方法恢復精確的相機軌跡和姿態，在3DGIS系統建立三維地理場景，疊加各類矢量數據，導入三維模型，添加自定義文字標注和圖形標注，通過導入數字地表模型實現消隱效果，然后逐幀獲取與原視頻相同視角的渲染影像，與原視頻逐幀疊加，獲得包含豐富信息的視頻成果。該方法提高了處理效率和效果，對于線性工程的重復巡線應用中，可大大提高自動化程度，為方案展示、現場巡檢提供了高效、真實的技術手段。

技術領域

本發明屬于無人機應用、計算機視覺和增強現實領域，具體涉及一種基于攝影測量技術和3DGIS技術的無人機視頻增強現實實現方法。

背景技術

多旋翼無人機視頻航拍技術廣泛應用于建筑工程領域，主要應用于方案規劃和設計階段對現場的信息采集、施工過程中的現場巡查。不做深化處理的航拍視頻資料只能觀看，無法與信息化系統融合。而基于視頻的增強現實技術可在視頻中疊加文字、圖形注記等，可在航拍視頻中展示設計方案、標注工程要素信息、記錄問題，可大大提高航拍視頻資料的信息化屬性。

目前，基于視頻的增強現實方法主要是使用影視處理軟件，采用計算機視覺的方法進行相對關系重建，進而添加信息，沒有充分利用無人機的POS數據，沒有建立視頻與地理坐標系之間的定位關系，其信息融合能力低，信息圖層無法直接復用，綜合效率較低。

發明內容

本發明的目的是提供一種能夠大幅提高視頻資料的信息融合能力、處理效率和自動化程度較高的基于攝影測量技術和3DGIS技術的無人機視頻增強現實實現方法。

為此，本發明的技術方案如下：

1、一種無人機視頻增強現實實現方法，包括以下步驟：

S1)采用攝影測量方法進行相機檢校，獲取相機精確的內方位參數，之后無人機利用所述相機進行帶狀視頻采集，獲取關鍵幀影像；

其中，所述的相機內方位參數包括相機視場角、焦距和鏡頭畸變；關鍵幀影像按照1/10-1/30比率獲??；

S2)根據飛控或POS系統記錄的飛行軌跡和姿態數據內插計算獲取所述關鍵幀影像的初始外方位元素值；

S3)建立單航帶傾斜影像空三工程：由所述關鍵幀影像、初始外方位元素值和內方位參數，使用攝影測量空中三角測量方法，建立單航帶傾斜影像空三工程；

S4)采集控制點：在既有航測成果中采集像控點三維坐標，像控點沿帶狀分布，其中，所述既有航測成果為1：2000地形圖、DOM、DEM及/或三維實景模型。

S5)空三計算：空三平差計算，獲取所述關鍵幀影像的精確的外方位元素值；

S6)影像密集匹配，獲取物方數字表面模型；

S7)根據所述外方位元素值，采用拉格朗日內插算法逐幀計算外方位元素值；

S8)在3DGIS系統中建立三維地理場景：在WGS84或GCCS2000橢球上建立三維地理場景，導入地理信息矢量圖層；在三維地理場景中添加三維模型、文字標注和圖形對象，并設置樣式；

S9)導入數字表面模型，將三維場景中的背景設置為黑色，僅顯示需在視頻中疊加的對象或圖層；

S10)根據所述外方位元素值，在三維場景中逐幀創建視點；

S11)在三維場景中，對所述視點逐個進行渲染，獲得序列幀信息影像，為所述序列幀信息影像添加透明通道，將黑色部分設置為透明；

S12)對步驟10)處理后的信息影像進行鏡頭畸變變換，獲得新的序列幀信息影像；