[發(fā)明專利]一種視頻三維融合時(shí)GPU加速的視頻紋理更新方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110445919.1
• 申請(qǐng)日: 2021-04-25
• 公開(kāi)（公告）號(hào): CN113205599B
• 公開(kāi)（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 付仲良;李剛;何健
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06T17/05
• 分類號(hào): G06T17/05;G06T15/04;G06T9/00;G06T5/50;G06T1/20
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 許蓮英

1.一種視頻三維融合時(shí)GPU加速的視頻紋理更新方法，包括以下步驟：

步驟1，構(gòu)建視頻流數(shù)據(jù)集，所述視頻流數(shù)據(jù)集由N個(gè)視頻構(gòu)成；

步驟2，判斷步驟1所述的視頻流數(shù)據(jù)集中每個(gè)視頻在三維GIS場(chǎng)景中對(duì)應(yīng)融合的視頻紋理的可見(jiàn)性，進(jìn)一步構(gòu)建多個(gè)待融合的視頻；

步驟3，將m個(gè)待融合的視頻分別通過(guò)循環(huán)調(diào)用解復(fù)用方法、GPU硬解碼得到每個(gè)視頻對(duì)應(yīng)的單幀YUV格式視頻影像；

步驟4，將步驟3所述的每個(gè)視頻對(duì)應(yīng)的單幀YUV格式視頻影像分別通過(guò)基于CUDA加速的YUV 2RGB算法得到相應(yīng)的單幀RGB格式視頻影像，并對(duì)存在畸變的視頻影像進(jìn)行基于CUDA加速的圖像畸變校正預(yù)處理，得到每個(gè)視頻預(yù)處理后視頻影像；

步驟5，將步驟4所述的每個(gè)視頻預(yù)處理后視頻影像利用CUDA和OpenGL互操作技術(shù)由GPU中CUDA內(nèi)存空間拷貝到OpenGL內(nèi)存空間；

步驟6，將步驟5所述的每個(gè)視頻預(yù)處理后視頻影像存儲(chǔ)為二維視頻紋理數(shù)組IMGS，進(jìn)一步將二維視頻紋理數(shù)組IMGS利用投影紋理算法融合到三維GIS場(chǎng)景；

步驟2具體如下：

計(jì)算三維GIS場(chǎng)景中視頻紋理中心點(diǎn)的世界坐標(biāo)點(diǎn)對(duì)應(yīng)的設(shè)備屏幕坐標(biāo)點(diǎn)：

其中，表示三維GIS場(chǎng)景中第i個(gè)視頻紋理中心點(diǎn)的世界坐標(biāo)點(diǎn)，Cⁱ(x_c，y_c，z_c)表示Oⁱ對(duì)應(yīng)的第i個(gè)設(shè)備屏幕坐標(biāo)點(diǎn)，M_sv表示場(chǎng)景相機(jī)的投影視圖變換矩陣，M_sp表示場(chǎng)景相機(jī)的透視投影變換矩陣，M_sw表示場(chǎng)景相機(jī)的視口變換矩陣，N表示三維GIS場(chǎng)景中視頻紋理中心點(diǎn)的數(shù)量；

計(jì)算設(shè)備屏幕坐標(biāo)點(diǎn)相對(duì)用戶觀察窗口是否可見(jiàn)：

設(shè)H表示用戶觀察窗口的長(zhǎng)度，設(shè)W表示用戶觀察窗口的寬度；

若x_c＞0且x_c＜W且y_c＞0且y_c＜H滿足時(shí)，則設(shè)備屏幕坐標(biāo)點(diǎn)相對(duì)用戶觀察窗口可見(jiàn)，即對(duì)應(yīng)的三維GIS場(chǎng)景中視頻紋理中心點(diǎn)的世界坐標(biāo)點(diǎn)在用戶視域內(nèi)，簡(jiǎn)記為O^k；

否則，設(shè)備屏幕坐標(biāo)點(diǎn)Cⁱ相對(duì)用戶觀察窗口不可見(jiàn)，即對(duì)應(yīng)的三維GIS場(chǎng)景中視頻紋理中心點(diǎn)的世界坐標(biāo)點(diǎn)不在用戶視域內(nèi)；

計(jì)算用戶視點(diǎn)對(duì)應(yīng)世界坐標(biāo)點(diǎn)P(x_p，y_p，z_p)和之間歐氏距離D的公式如下，

其中，x_p為用戶視點(diǎn)對(duì)應(yīng)世界坐標(biāo)點(diǎn)P的X軸坐標(biāo)分量，y_p為用戶視點(diǎn)對(duì)應(yīng)世界坐標(biāo)點(diǎn)P的Y軸坐標(biāo)分量，z_p為用戶視點(diǎn)對(duì)應(yīng)世界坐標(biāo)點(diǎn)P的Z軸坐標(biāo)分量，為第k個(gè)點(diǎn)O^k的X軸坐標(biāo)分量，為第k個(gè)點(diǎn)O^k的Y軸坐標(biāo)分量，為第k個(gè)點(diǎn)O^k的Z軸坐標(biāo)分量；

對(duì)距離D^k按升序進(jìn)行排序，取前m個(gè)點(diǎn)代表的視頻作為待融合的視頻，m＜26且m≤k；

步驟6具體如下：

計(jì)算世界坐標(biāo)系中模型頂點(diǎn)坐標(biāo)P_w的公式如下，

P_w＝M_invM_mvP_glv

其中，M_mv為場(chǎng)景相機(jī)的模型視圖變換矩陣，M_inv為三維GIS場(chǎng)景相機(jī)視圖變換矩陣的逆矩陣，P_glv為模型坐標(biāo)系中的模型頂點(diǎn)坐標(biāo)；

計(jì)算世界坐標(biāo)系中模型頂點(diǎn)法向量N_v的公式如下，

N_v＝mat3(M_invM_mv)P_gln

其中，mat3()表示去除齊次坐標(biāo)后的變換矩陣，P_gln為模型坐標(biāo)系中的模型頂點(diǎn)法向量；

計(jì)算第i個(gè)虛擬投影相機(jī)裁剪坐標(biāo)系中模型頂點(diǎn)坐標(biāo)的公式如下，

其中，為第i個(gè)虛擬投影相機(jī)的投影視圖變換矩陣，為第i個(gè)虛擬投影相機(jī)的透視投影變換矩陣，表示齊次坐標(biāo)Vⁱ的w分量；

計(jì)算模型頂點(diǎn)是否在第i個(gè)虛擬投影相機(jī)視域范圍內(nèi)的公式如下，

其中，表示模型頂點(diǎn)在裁剪坐標(biāo)系中坐標(biāo)分量，值為1表示在第i個(gè)虛擬投影相機(jī)視域范圍內(nèi)，反之不在，模型頂點(diǎn)顏色值為三維GIS場(chǎng)景模型頂點(diǎn)原本的顏色值C_nt；

在第i個(gè)虛擬投影相機(jī)視域范圍內(nèi)，計(jì)算虛擬投影相機(jī)視線向量和模型頂點(diǎn)法向量之間向量點(diǎn)積DotPⁱ的公式如下，

其中，normalize()為向量正則化函數(shù)，dot()為向量點(diǎn)積函數(shù)，為第i個(gè)虛擬投影相機(jī)的世界坐標(biāo)，若條件DotPⁱ＞0滿足時(shí)，則表示模型頂點(diǎn)面向第i個(gè)虛擬投影相機(jī)，反之模型頂點(diǎn)顏色值為三維GIS場(chǎng)景模型頂點(diǎn)原本的顏色值C_nt；

計(jì)算模型頂點(diǎn)在第i個(gè)虛擬投影相機(jī)中的歸一化屏幕坐標(biāo)Tⁱ的公式如下，

其中，M_n為歸一化矩陣；

當(dāng)模型頂點(diǎn)面向第i個(gè)虛擬投影相機(jī)，計(jì)算在第i個(gè)虛擬投影相機(jī)內(nèi)歸一化屏幕坐標(biāo)對(duì)應(yīng)深度圖上深度值Hⁱ的公式如下，

其中，texture()表示紋理采樣函數(shù)，DEPTHS為存儲(chǔ)虛擬投影相機(jī)對(duì)應(yīng)場(chǎng)景深度圖的二維紋理數(shù)組，L為第i個(gè)視頻對(duì)應(yīng)IMGS和DEPTHS數(shù)組索引，表示歸一化屏幕坐標(biāo)Tⁱ的屏幕坐標(biāo)分量，表示從二維紋理數(shù)組DEPTHS第L層深度圖上根據(jù)屏幕坐標(biāo)采樣模型頂點(diǎn)深度值；

計(jì)算模型頂點(diǎn)深度值和深度圖上對(duì)應(yīng)深度值之間的大小關(guān)系來(lái)過(guò)濾被遮擋的朝向虛擬投影相機(jī)的模型頂點(diǎn)，若條件滿足時(shí)，則表示模型頂點(diǎn)應(yīng)該渲染視頻紋理顏色，反之模型頂點(diǎn)顏色值為C_nt；其中，Δd為計(jì)算機(jī)保存深度圖時(shí)的舍入誤差和計(jì)算誤差，為模型頂點(diǎn)的深度值；

計(jì)算上述模型頂點(diǎn)對(duì)應(yīng)第i個(gè)視頻紋理上顏色值的公式如下，

其中，texture()表示紋理采樣函數(shù)，IMGS為存儲(chǔ)預(yù)處理后視頻影像的二維紋理數(shù)組，表示從二維紋理數(shù)組IMGS第L層視頻紋理上根據(jù)屏幕坐標(biāo)采樣模型頂點(diǎn)顏色值。