[發(fā)明專利]一種無(wú)人機(jī)實(shí)時(shí)視頻與三維場(chǎng)景融合的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211200921.3
• 申請(qǐng)日: 2022-09-29
• 公開（公告）號(hào): CN115937440A
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 嚴(yán)振濤;江一帆;周丹;毛銘祺;潛軍偉;鄭幸
• 申請(qǐng)（專利權(quán)）人: 浙江靜遠(yuǎn)電力實(shí)業(yè)有限公司
• 主分類號(hào): G06T17/05
• 分類號(hào): G06T17/05;G06T19/20
• 代理公司: 杭州杭誠(chéng)專利事務(wù)所有限公司 33109
• 代理人: 俞則儉

本發(fā)明公開了一種無(wú)人機(jī)實(shí)時(shí)視頻與三維場(chǎng)景融合的方法，包括以下步驟：步驟S1：實(shí)時(shí)視頻數(shù)據(jù)的采集和處理；步驟S2：三維地理場(chǎng)景和實(shí)際場(chǎng)景的構(gòu)建；步驟S3：通過(guò)無(wú)人機(jī)將采集到的實(shí)時(shí)視頻數(shù)據(jù)和三維地理場(chǎng)景進(jìn)行數(shù)據(jù)融合；通過(guò)無(wú)人機(jī)定點(diǎn)巡查進(jìn)行傾斜攝影對(duì)指定區(qū)域進(jìn)行實(shí)景融合，無(wú)人機(jī)和三維地圖融合的方法對(duì)指定區(qū)域具有更好的覆蓋，使得實(shí)景視頻數(shù)據(jù)更清晰，實(shí)時(shí)進(jìn)行周圍場(chǎng)景的地理要素關(guān)聯(lián)分析，對(duì)重大事故處理的應(yīng)用中對(duì)補(bǔ)給資源配置和應(yīng)急處理做到快速響應(yīng)，實(shí)現(xiàn)拍攝視頻圖像與周圍地理元素融合，使得空間信息獲取更方便、精確。

技術(shù)領(lǐng)域

本發(fā)明涉及無(wú)人機(jī)傾斜三維攝影技術(shù)領(lǐng)域，尤其是涉及一種無(wú)人機(jī)實(shí)時(shí)視頻與三維場(chǎng)景融合的方法。

背景技術(shù)

隨著無(wú)人機(jī)技術(shù)的成熟和應(yīng)用難度的降低，越來(lái)越多的領(lǐng)域開始應(yīng)用無(wú)人機(jī)代替人類完成一些高難度的工作，如攝影測(cè)量數(shù)據(jù)采集、自然資源調(diào)查監(jiān)管、交通救援搜索和巡查等。無(wú)人機(jī)具備通信、遠(yuǎn)程控制、高分辨率視覺(jué)圖像信息和數(shù)據(jù)傳輸?shù)饶芰Γ梢詫?shí)現(xiàn)快速分析大量的影音與圖片信息。由于傳統(tǒng)固定位置的攝像頭存在監(jiān)控死角，且無(wú)法拍攝正射的視頻，在三維地理場(chǎng)景中投影時(shí)變形較大，而無(wú)人機(jī)可以實(shí)現(xiàn)任意位置和任意角度的視頻信息獲取，將視頻與三維地理場(chǎng)景相融合，賦予其空間信息，可實(shí)現(xiàn)與周圍場(chǎng)景的地理要素關(guān)聯(lián)分析，從而在諸如重大安全事故處理的應(yīng)用中，可以快速進(jìn)行資源配置和應(yīng)急處置。

例如，一種在中國(guó)專利文獻(xiàn)上公開的“一種無(wú)人機(jī)屋頭自旋飛行傾斜攝影航拍方法”，其公開號(hào)為CN111891356A，包括無(wú)法通過(guò)實(shí)時(shí)的傾斜攝影與三維地理場(chǎng)景進(jìn)行空間信息賦予，無(wú)法實(shí)時(shí)進(jìn)行周圍場(chǎng)景的地理要素關(guān)聯(lián)分析，對(duì)重大事故處理的應(yīng)用中對(duì)補(bǔ)給資源配置和應(yīng)急處理無(wú)法做到快速響應(yīng)。

發(fā)明內(nèi)容

本發(fā)明是為了克服現(xiàn)有技術(shù)中，固定位置的攝像頭存在監(jiān)控或拍攝死角，而無(wú)人機(jī)傾斜攝影無(wú)法與三維地理場(chǎng)景進(jìn)行空間信息賦予，無(wú)法實(shí)時(shí)進(jìn)行周圍場(chǎng)景的地理要素關(guān)聯(lián)分析，對(duì)重大事故處理的應(yīng)用中對(duì)補(bǔ)給資源配置和應(yīng)急處理無(wú)法做到快速響應(yīng)，提出一種無(wú)人機(jī)實(shí)時(shí)視頻與三維場(chǎng)景融合的方法，通過(guò)傾斜視角的拍攝和三維地理場(chǎng)景的布景結(jié)合，實(shí)現(xiàn)拍攝視頻圖像與周圍地理元素融合，使得空間信息獲取更方便、精確。

為了實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用以下技術(shù)方案：

一種無(wú)人機(jī)實(shí)時(shí)視頻與三維場(chǎng)景融合的方法，包括以下步驟：

步驟S1：實(shí)時(shí)視頻數(shù)據(jù)的采集和處理；

步驟S2：三維地理場(chǎng)景和實(shí)際場(chǎng)景的構(gòu)建；

步驟S3：通過(guò)無(wú)人機(jī)將采集到的實(shí)時(shí)視頻數(shù)據(jù)和三維地理場(chǎng)景進(jìn)行數(shù)據(jù)融合。

通過(guò)無(wú)人機(jī)定點(diǎn)巡查進(jìn)行傾斜攝影對(duì)指定區(qū)域進(jìn)行實(shí)景融合，無(wú)人機(jī)和三維地圖融合的方法對(duì)指定區(qū)域具有更好的覆蓋，使得實(shí)景視頻數(shù)據(jù)更清晰，實(shí)時(shí)進(jìn)行周圍場(chǎng)景的地理要素關(guān)聯(lián)分析，對(duì)重大事故處理的應(yīng)用中對(duì)補(bǔ)給資源配置和應(yīng)急處理做到快速響應(yīng)。

作為優(yōu)選，步驟S1包括以下步驟：

步驟S1-1：無(wú)人機(jī)對(duì)周圍地理環(huán)境進(jìn)行實(shí)時(shí)數(shù)據(jù)采集和數(shù)據(jù)傳輸；

步驟S1-2：無(wú)人機(jī)客戶端將無(wú)人機(jī)采集到的視頻圖像通過(guò)編碼壓縮后傳輸?shù)綗o(wú)人機(jī)遙控接收器；

步驟S1-3：在無(wú)人機(jī)巡查過(guò)程中進(jìn)行實(shí)時(shí)視頻流數(shù)據(jù)解析，并將視頻流數(shù)據(jù)投影到三維地理場(chǎng)景中；

步驟S1-4：判斷無(wú)人機(jī)進(jìn)入站點(diǎn)和離開站點(diǎn)時(shí)的狀態(tài)。

作為優(yōu)選，所述步驟S1-2中，無(wú)人機(jī)視頻的采集和傳輸通過(guò)客戶端和服務(wù)端進(jìn)行，在網(wǎng)絡(luò)條件下，無(wú)人機(jī)遙控接收器通過(guò)對(duì)數(shù)據(jù)流進(jìn)行封裝后將數(shù)據(jù)流發(fā)送到服務(wù)器端，并通過(guò)指定服務(wù)實(shí)時(shí)接收客戶端發(fā)送的數(shù)據(jù)包，并對(duì)數(shù)據(jù)包進(jìn)行數(shù)據(jù)解析獲取視頻數(shù)據(jù)流。

作為優(yōu)選，所述步驟S1-4包括以下步驟：

步驟S1-4-1：對(duì)無(wú)人機(jī)飛行速度進(jìn)行監(jiān)控，當(dāng)無(wú)人機(jī)實(shí)時(shí)速度為0且保持不變時(shí)，則判斷無(wú)人機(jī)為懸停狀態(tài)，即將無(wú)人機(jī)接入站點(diǎn)，記錄當(dāng)前時(shí)間并獲取視頻流；