[發明專利]一種無人機實時視頻與三維場景融合的方法

在審

• 申請號: 202211200921.3
• 申請日: 2022-09-29
• 公開（公告）號: CN115937440A
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 嚴振濤;江一帆;周丹;毛銘祺;潛軍偉;鄭幸
• 申請（專利權）人: 浙江靜遠電力實業有限公司
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T19/20
• 代理公司: 杭州杭誠專利事務所有限公司 33109
• 代理人: 俞則儉

1.一種無人機實時視頻與三維場景融合的方法，其特征是，包括以下步驟：

步驟S1：實時視頻數據的采集和處理；

步驟S2：三維地理場景和實際場景的構建；

步驟S3：通過無人機將采集到的實時視頻數據和三維地理場景進行數據融合。

2.根據權利要求1所述的一種無人機實時視頻與三維場景融合的方法，其特征是，所述步驟S1包括以下步驟：

步驟S1-1：無人機對周圍地理環境進行實時數據采集和數據傳輸；

步驟S1-2：無人機客戶端將無人機采集到的視頻圖像通過編碼壓縮后傳輸到無人機遙控接收器；

步驟S1-3：在無人機巡查過程中進行實時視頻流數據解析，并將視頻流數據投影到三維地理場景中；

步驟S1-4：判斷無人機進入站點和離開站點時的狀態。

3.根據權利要求2所述的一種無人機實時視頻與三維場景融合的方法，其特征是，所述步驟S1-2中，無人機視頻的采集和傳輸通過客戶端和服務端進行，在網絡條件下，無人機遙控接收器通過對數據流進行封裝后將數據流發送到服務器端，并通過指定服務實時接收客戶端發送的數據包，并對數據包進行數據解析獲取視頻數據流。

4.根據權利要求2所述的一種無人機實時視頻與三維場景融合的方法，其特征是，所述步驟S1-4包括以下步驟：

步驟S1-4-1：對無人機飛行速度進行監控，當無人機實時速度為0且保持不變時，則判斷無人機為懸停狀態，即將無人機接入站點，記錄當前時間并獲取視頻流；

步驟S1-4-2：當無人機實時速度不為0時，則判斷無人機為飛行狀態，即無人機離開站點，記錄當前時間并停止獲取視頻流。

5.根據權利要求1所述的一種無人機實時視頻與三維場景融合的方法，其特征是，所述步驟S2包括以下步驟：

步驟S2-1：對傾斜模式下無人機采集到的視頻數據進行輕量化處理，處理目標數據的方法包括：合并根節點、地理紋理壓縮、和模型大文件生成；

步驟S2-2：完成傾斜數據優化，完成傾斜攝影數據的打包。

6.根據權利要求5所述的一種無人機實時視頻與三維場景融合的方法，其特征是，所述步驟S2-2具體包括以下步驟：

步驟S2-2-1：通過合并根節點的方式提升數據讀取速度；

步驟S2-2-2：通過壓縮地理紋理提升傾斜三維切片的渲染速度；

步驟S2-2-3：將多個文件夾下的碎瓦片文件產生一個傾斜攝影模型大文件。

7.根據權利要求1所述的一種無人機實時視頻與三維場景融合的方法，其特征是，所述步驟S3包括以下步驟：

步驟S3-1：通過解析無人機實景融合數據模型得到相關參數；

步驟S3-2：將無人機采集到的位置數據作為虛擬相機的視點數據，無人機相機的視角為固定參數；

步驟S3-3：通過設置準確的視點位置和視場角值，實現視頻在三維地理場景中的某一個方向上的投影，利用圖像匹配的方法進行方位角調參，實現真實無人機視頻畫面與三維地理場景畫面的最佳匹配。

8.根據權利要求1或7所述的一種無人機實時視頻與三維場景融合的方法，其特征是，通過無人機定點巡查影像對該區域進行實景融合，將無人機傾斜攝影的俯仰方向可控角度設置為-90°~0°，展示監控區域實景融合前后的對比，通過實景前后比對判斷各式區域劃分，同時基于Gesium框架進行三維地理場景構建，完成無人機實時視頻與三維場景的融合。