[發(fā)明專利]視頻與三維場景融合的方法、裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011350381.8
• 申請日: 2020-11-26
• 公開（公告）號: CN112489225A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計）人: 桑新柱;沈圣;王卓文;邢樹軍;張瀧;葉韻菲;譚丞鳴;黃冠瑞
• 申請（專利權(quán)）人: 北京郵電大學(xué)
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/50
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 程琛

1.一種視頻與三維場景融合的方法，其特征在于，包括：

確定三維場景模型中每一頂點的紋理坐標(biāo)；

從多個待融合視頻幀中獲取每一紋理坐標(biāo)對應(yīng)的紋理值；

基于每一紋理坐標(biāo)的紋理值，對所述三維場景模型的每一頂點進行著色，得到融合后的三維場景模型；

其中，兩個待融合視頻幀的重疊區(qū)域內(nèi)的任一重疊紋理坐標(biāo)對應(yīng)的紋理值是基于每一待融合視頻幀中所述任一重疊紋理坐標(biāo)的紋理值以及紋理值權(quán)重確定得到的；任一待融合視頻幀中所述任一重疊紋理坐標(biāo)的紋理值權(quán)重是基于所述任一重疊紋理坐標(biāo)與重疊區(qū)域邊界的橫向距離和縱向距離確定的。

2.根據(jù)權(quán)利要求1所述的視頻與三維場景融合的方法，其特征在于，任一待融合視頻幀中的任一重疊紋理坐標(biāo)的紋理值權(quán)重計算函數(shù)為非線性函數(shù)。

3.根據(jù)權(quán)利要求1或2所述的視頻與三維場景融合的方法，其特征在于，每一待融合視頻幀中的任一重疊紋理坐標(biāo)的紋理值權(quán)重是基于如下步驟確定的：

基于所述任一重疊紋理坐標(biāo)與所述重疊區(qū)域邊界的橫向距離和縱向距離，確定任一待融合視頻幀中所述任一重疊紋理坐標(biāo)的紋理值權(quán)重；

將1與所述任一待融合視頻幀中所述任一重疊紋理坐標(biāo)的紋理值權(quán)重之間的差值，作為另一待融合視頻幀中所述任一重疊紋理坐標(biāo)的紋理值權(quán)重。

4.根據(jù)權(quán)利要求3所述的視頻與三維場景融合的方法，其特征在于，所述基于所述任一重疊紋理坐標(biāo)與所述重疊區(qū)域邊界的橫向距離和縱向距離，確定任一待融合視頻幀中所述任一重疊紋理坐標(biāo)的紋理值權(quán)重，具體包括：

基于所述任一重疊紋理坐標(biāo)的橫坐標(biāo)，分別與所述重疊區(qū)域中的最大紋理橫坐標(biāo)和最小紋理橫坐標(biāo)之間的差值，確定橫向權(quán)重；

基于所述任一重疊紋理坐標(biāo)的縱坐標(biāo)，分別與所述重疊區(qū)域中的最大紋理縱坐標(biāo)和最小紋理縱坐標(biāo)之間的差值，確定縱向權(quán)重；

基于所述橫向權(quán)重和所述縱向權(quán)重，確定所述任一待融合視頻幀中所述任一重疊紋理坐標(biāo)的紋理值權(quán)重。

5.根據(jù)權(quán)利要求4所述的視頻與三維場景融合的方法，其特征在于，任一待融合視頻幀中的任一重疊紋理坐標(biāo)的紋理值權(quán)重是采用如下公式計算得到的：

其中，d₂為紋理值權(quán)重，(x,y)為重疊紋理坐標(biāo)，x_max和x_min為所述重疊區(qū)域中的最大紋理橫坐標(biāo)和最小紋理橫坐標(biāo)，y_max和y_min為所述重疊區(qū)域中的最大紋理縱坐標(biāo)和最小紋理縱坐標(biāo)。

6.根據(jù)權(quán)利要求1所述的視頻與三維場景融合的方法，其特征在于，所述確定三維場景模型中每一頂點的紋理坐標(biāo)，具體包括：

對所述三維場景模型進行投影紋理映射，得到所述三維場景模型中每一頂點的紋理坐標(biāo)。

7.根據(jù)權(quán)利要求6所述的視頻與三維場景融合的方法，其特征在于，所述對所述三維場景模型進行投影紋理映射，得到所述三維場景模型中每一頂點的紋理坐標(biāo)，具體包括：

基于所述三維場景中每一頂點的模型坐標(biāo)，以及投影機的位置和投影角度，確定所述三維場景模型中每一頂點的紋理坐標(biāo)。

8.一種視頻與三維場景融合的裝置，其特征在于，包括：

紋理坐標(biāo)計算單元，用于確定三維場景模型中每一頂點的紋理坐標(biāo)；

紋理值查詢單元，用于從多個待融合視頻幀中獲取每一紋理坐標(biāo)對應(yīng)的紋理值；

視頻場景融合單元，用于基于每一紋理坐標(biāo)的紋理值，對所述三維場景模型的每一頂點進行著色，得到融合后的三維場景模型；

其中，兩個待融合視頻幀的重疊區(qū)域內(nèi)的任一重疊紋理坐標(biāo)對應(yīng)的紋理值是基于每一待融合視頻幀中所述任一重疊紋理坐標(biāo)的紋理值以及紋理值權(quán)重確定得到的；任一待融合視頻幀中所述任一重疊紋理坐標(biāo)的紋理值權(quán)重是基于所述任一重疊紋理坐標(biāo)與重疊區(qū)域邊界的橫向距離和縱向距離確定的。