[發明專利]視頻與三維場景融合的方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011350381.8
• 申請日: 2020-11-26
• 公開（公告）號: CN112489225A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 桑新柱;沈圣;王卓文;邢樹軍;張瀧;葉韻菲;譚丞鳴;黃冠瑞
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/50
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明提供一種視頻與三維場景融合的方法和裝置，其中方法包括：確定三維場景模型中每一頂點的紋理坐標；從多個待融合視頻幀中獲取每一紋理坐標對應的紋理值；基于每一紋理坐標的紋理值，對三維場景模型的每一頂點進行著色，得到融合后的三維場景模型；其中，兩個待融合視頻幀的重疊區域內的任一重疊紋理坐標對應的紋理值是基于每一待融合視頻幀中任一重疊紋理坐標的紋理值以及紋理值權重確定得到的；任一待融合視頻幀中任一重疊紋理坐標的紋理值權重是基于任一重疊紋理坐標與重疊區域邊界的橫向距離和縱向距離確定的。本發明提供的方法和裝置，在待融合圖像的重疊區域在縱向上紋理值存在較大差異時，可以減輕縱向拼接處的拼接縫隙。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及一種視頻與三維場景融合的方法、裝置、電子設備和存儲介質。

背景技術

基于視頻融合的增強現實系統為人們迅速、直觀地理解多路視頻圖像提供了很好的途徑，在視頻監控、城市的虛擬仿真、機器人的遠程操控等領域應用廣泛。虛實融合技術對于減少GIS虛擬場景和真實視頻圖片間的視覺差異，實現視覺感官虛實無縫結合，并提高真實沉浸式視覺體驗具有重要作用。其中，基于視頻投影的虛實融合方法因無須人工干預和離線融合、不需為被投影的紋理預先指定頂點紋理且場景還原真實度高等優勢，成為三維場景虛擬融合中最常用的方法。

然而，當視頻流之間存在重疊區域時，紋理映射之后會出現明顯的拼縫現象，需要對投影后的視頻紋理進行進一步的融合處理。目前，常用的幾種視頻圖像融合方法包括平均值法，最大值法，最大分辨率法，漸入漸出法等。其中，漸入漸出法是最常用的融合方法。但漸入漸出法對于縱向坐標有較大差異的紋理圖像進行融合時，在拼接處仍會有明顯的拼縫現象。

發明內容

本發明提供一種視頻與三維場景融合的方法、裝置、電子設備和存儲介質，用以解決現有技術中融合后的拼接處存在明顯拼縫的缺陷。

本發明提供一種視頻與三維場景融合的方法，包括：

確定三維場景模型中每一頂點的紋理坐標；

從多個待融合視頻幀中獲取每一紋理坐標對應的紋理值；

基于每一紋理坐標的紋理值，對所述三維場景模型的每一頂點進行著色，得到融合后的三維場景模型；

其中，兩個待融合視頻幀的重疊區域內的任一重疊紋理坐標對應的紋理值是基于每一待融合視頻幀中所述任一重疊紋理坐標的紋理值以及紋理值權重確定得到的；任一待融合視頻幀中所述任一重疊紋理坐標的紋理值權重是基于所述任一重疊紋理坐標與重疊區域邊界的橫向距離和縱向距離確定的。

根據本發明提供的一種視頻與三維場景融合的方法，任一待融合視頻幀中的任一重疊紋理坐標的紋理值權重計算函數為非線性函數。

根據本發明提供的一種視頻與三維場景融合的方法，每一待融合視頻幀中的任一重疊紋理坐標的紋理值權重是基于如下步驟確定的：

基于所述任一重疊紋理坐標與所述重疊區域邊界的橫向距離和縱向距離，確定任一待融合視頻幀中所述任一重疊紋理坐標的紋理值權重；

將1與所述任一待融合視頻幀中所述任一重疊紋理坐標的紋理值權重之間的差值，作為另一待融合視頻幀中所述任一重疊紋理坐標的紋理值權重。

根據本發明提供的一種視頻與三維場景融合的方法，所述基于所述任一重疊紋理坐標與所述重疊區域邊界的橫向距離和縱向距離，確定任一待融合視頻幀中所述任一重疊紋理坐標的紋理值權重，具體包括：

基于所述任一重疊紋理坐標的橫坐標，分別與所述重疊區域中的最大紋理橫坐標和最小紋理橫坐標之間的差值，確定橫向權重；

基于所述任一重疊紋理坐標的縱坐標，分別與所述重疊區域中的最大紋理縱坐標和最小紋理縱坐標之間的差值，確定縱向權重；