[發(fā)明專利]視頻畫面處理方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202110508409.4
• 申請日: 2021-05-11
• 公開（公告）號: CN113014824B
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計）人: 林凡雨;吳偉波
• 申請（專利權(quán)）人: 北京遠(yuǎn)度互聯(lián)科技有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;H04N13/122;G06T7/73;G06T7/80;G06T15/00;G06T17/05;G06T19/00;G07C1/20
• 代理公司: 北京清大紫荊知識產(chǎn)權(quán)代理有限公司 11718
• 代理人: 張卓;張夢龍

1.一種視頻畫面處理方法，其特征在于，應(yīng)用于無人機(jī)，所述方法包括：

從巡檢對象的當(dāng)前區(qū)域地圖信息中確定位于當(dāng)前區(qū)域內(nèi)且與所述巡檢對象對應(yīng)的元素信息和標(biāo)簽信息；其中，所述元素信息包括元素的類型和元素的地理坐標(biāo)，所述標(biāo)簽信息包括標(biāo)簽和標(biāo)簽的地理坐標(biāo)；

采用第一坐標(biāo)轉(zhuǎn)換矩陣并通過公式（1），將所述元素的地理坐標(biāo)轉(zhuǎn)換為地平坐標(biāo)，以及將所述標(biāo)簽的地理坐標(biāo)轉(zhuǎn)換為地平坐標(biāo)；

其中，所述第一坐標(biāo)轉(zhuǎn)換矩陣NED的表達(dá)式為：

其中，R_earth為地球的半徑，lat為緯度，lon為經(jīng)度，alt為海拔高度；

所述公式（1）為：

P_{NED =} NED（P_{geometry -} P_drone）（1）

其中，P_drone為相機(jī)的地理坐標(biāo)，NED為所述第一坐標(biāo)轉(zhuǎn)換矩陣；將所述元素的地理坐標(biāo)轉(zhuǎn)換為地平坐標(biāo)時，所述公式（1）中的P_NED為元素的地平坐標(biāo)，P_geometry為元素的地理坐標(biāo)；將所述標(biāo)簽的地理坐標(biāo)轉(zhuǎn)換為地平坐標(biāo)時，所述公式（1）中P_NED為標(biāo)簽的地平坐標(biāo)，P_geometry為標(biāo)簽的地理坐標(biāo)；基于預(yù)設(shè)渲染模式，并根據(jù)所述元素的地平坐標(biāo)，確定待渲染元素的地平坐標(biāo)；

基于所述相機(jī)的姿態(tài)信息，生成投影矩陣；

采用所述投影矩陣，將所述待渲染元素的地平坐標(biāo)轉(zhuǎn)換為相機(jī)坐標(biāo)，以及將所述標(biāo)簽的地平坐標(biāo)轉(zhuǎn)換為相機(jī)坐標(biāo)；

基于所述相機(jī)的姿態(tài)信息和相機(jī)參數(shù)，生成第二坐標(biāo)轉(zhuǎn)換矩陣；

采用所述第二坐標(biāo)轉(zhuǎn)換矩陣，將所述待渲染元素的相機(jī)坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)，以及將所述標(biāo)簽的相機(jī)坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)；

其中，相機(jī)坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)的轉(zhuǎn)換公式為：

P_{camera =} T_cT_sP_pixel（3），其中，T_cT_s為第二坐標(biāo)轉(zhuǎn)換矩陣，T_c和T_s的生成公式如下：

其中，d為所述相機(jī)的鏡頭的中心點距離所述相機(jī)的中心線的延長線與地面的交點之間的距離，f為所述相機(jī)的焦距；w_s為相機(jī)傳感器的橫向尺寸，h_s為相機(jī)傳感器的縱向尺寸，w_p為相機(jī)傳感器的像素單元的橫向尺寸，h_p為相機(jī)傳感器的像素單元的縱向尺寸；將所述待渲染元素的相機(jī)坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)時，公式（3）中的P_pixel為待渲染元素的像素坐標(biāo)，P_camera為待渲染元素的相機(jī)坐標(biāo)；將所述標(biāo)簽的相機(jī)坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)時，公式（3）中的P_pixel為標(biāo)簽的像素坐標(biāo)，P_camera為標(biāo)簽的相機(jī)坐標(biāo)；

基于待渲染元素的類型以及所述待渲染元素的像素坐標(biāo)，對所述待渲染元素進(jìn)行渲染，得到元素圖層；所述待渲染元素的類型與所述元素的類型相同；

基于所述標(biāo)簽的像素坐標(biāo)，在所述元素圖層上對所述標(biāo)簽進(jìn)行渲染，得到疊加圖層；

將所述疊加圖層疊加到相機(jī)實時拍攝的視頻畫面上，得到疊加視頻畫面。

2.根據(jù)權(quán)利要求1所述的視頻畫面處理方法，其特征在于，所述基于預(yù)設(shè)渲染模式，并根據(jù)所述元素的地平坐標(biāo)，確定待渲染元素的地平坐標(biāo)包括下述任一項：

響應(yīng)于所述預(yù)設(shè)渲染模式為元素渲染模式，將所述元素的地平坐標(biāo)確定為所述待渲染元素的地平坐標(biāo)；

響應(yīng)于所述預(yù)設(shè)渲染模式為區(qū)域渲染模式，根據(jù)所述元素的地平坐標(biāo)以及預(yù)設(shè)區(qū)域?qū)挾却_定渲染區(qū)域，將所述渲染區(qū)域的邊界的地平坐標(biāo)確定為所述待渲染元素的地平坐標(biāo)。

3.根據(jù)權(quán)利要求1所述的視頻畫面處理方法，其特征在于，所述從巡檢對象的當(dāng)前區(qū)域地圖信息中確定位于當(dāng)前區(qū)域內(nèi)且與所述巡檢對象對應(yīng)的元素信息和標(biāo)簽信息包括：

從所述巡檢對象的當(dāng)前區(qū)域地圖信息中提取與所述巡檢對象對應(yīng)的元素的類型、所述元素的地理坐標(biāo)和標(biāo)簽；

基于所述元素的類型、所述元素的地理坐標(biāo)，確定所述標(biāo)簽的地理坐標(biāo)。