[發明專利]一種二維視頻信息與三維地理信息融合的方法

在審

• 申請號: 202011309715.7
• 申請日: 2020-11-20
• 公開（公告）號: CN112365397A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 劉經緯;于潼
• 申請（專利權）人: 天津七所精密機電技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/80;G06F16/29
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 劉英梅

1.一種二維視頻信息與三維地理信息融合的方法，其特征在于：對于目標觀察點區域，二維視頻信息通過單個攝像頭拍攝來獲得，利用攝像頭的參數構建視椎體來表示二維視頻信息的可視范圍，包括如下步驟：

步驟一、獲得單個攝像頭拍攝的二維視頻信息，求解攝像頭的覆蓋區域；

步驟二、將二維視頻信息映射到三維地圖信息中；

步驟三、進行二維視頻信息的時時更新和映射，實現二維視頻和三維地理信息的實時融合。

2.根據權利要求1所述的二維視頻信息與三維地理信息融合的方法，其特征在于：步驟一包括如下步驟：

1.1首先從攝像頭A處對目標場景進行渲染，并將生成的深度紋理Z1導入著色器；

1.2然后從目標區域觀察點進行渲染，將每個像素點的坐標轉換到攝像頭A的坐標系中，通過計算得到各像素點的深度值Z2；

1.3比較Z1和Z2，Z1大于Z2部分，則表示該點未被遮擋，采用二維視頻信息替換原三維地理信息；Z1不大于Z2部分，則表示該點被遮擋，采用三維地圖的原信息。

3.根據權利要求1所述的二維視頻信息與三維地理信息融合的方法，其特征在于：步驟二通過投影紋理映射技術將視頻采樣點與目標空間的端點進行對應，包括如下步驟：

2.1首先使用模型視圖矩陣將目標區域的端點坐標變換到攝像頭坐標中去，表達式為：

其中，x₀，y₀為攝像頭坐標系的坐標，X₀，Y₀，Z₀為目標區域的端點坐標，a為攝像機焦距；

2.2再通過相機視圖逆矩陣變換為世界坐標系，表達式為：

其中，M_pv為投影視圖變換矩陣，R為旋轉關系，T_r為平移關系，V_w為世界坐標，X_w、Y_w和Z_w為世界坐標系下的坐標；

2.3再將世界坐標系經投影視圖矩陣變換至投影坐標系中，表達式為：

其中，f_u，f_v表示圖像坐標系u軸和v軸上的尺度因子，s表示傾斜因子，P_p為投影變換矩陣，X為投影橫坐標，u₀為u軸的坐標，v₀為v軸的坐標；

2.4最后經過投影矩陣和歸一化處理得到最終的紋理坐標，紋理轉換公式如下：

(s，t，r，q)^T＝N×P_p×M_pv×V_w

式中：

(s，t，r，q)^T為紋理坐標；

N為歸一化矩陣

P_p為投影變換矩陣；

M_pv為投影視圖變換矩陣；

V_w為端點在世界坐標系下的坐標；

紋理匹配后，單個攝像頭的二維視頻信息就可以映射到三維地圖中。

4.根據權利要求1所述的二維視頻信息與三維地理信息融合的方法，其特征在于：步驟三具體為：通過求解攝像頭覆蓋區域和視頻信息映射可以在三維地圖上得到1幀視頻信息，通過回調函數來更新下一幀的紋理數據，當攝像頭內外參數發生變化的時候，紋理數據也會隨之變化，根據新的紋理數據來計算新的紋理坐標，實現這一幀的映射，持續以上操作，可實現視頻和三維地理信息的實時融合。