[發(fā)明專利]用于沉浸式視覺體驗的相機視圖之間的虛擬視圖內(nèi)插

在審

• 申請?zhí)枺?/td>: 202010116079.X
• 申請日: 2020-02-25
• 公開（公告）號: CN111757080A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設計）人: 弗拉丹·波波維奇;張帆;奧斯卡·內(nèi)斯塔雷斯;卡帕娜·塞沙德里納坦
• 申請（專利權）人: 英特爾公司
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/122;H04N13/125;H04N13/239;G06T1/60
• 代理公司: 北京東方億思知識產(chǎn)權代理有限責任公司 11258
• 代理人: 姜飛

本申請涉及用于沉浸式視覺體驗的相機視圖之間的虛擬視圖內(nèi)插。討論了與從已知輸入圖像的位置之間的一位置生成場景的虛擬視圖以供呈現(xiàn)給觀看者有關的技術。此類技術包括將卷積模板應用于虛擬中間梯度圖像以為所述位置生成最終虛擬圖像，所述卷積模板近似至少表示所述輸入圖像中的梯度檢測的水平卷積矩陣和垂直卷積矩陣的線性組合的逆，所述虛擬中間梯度圖像是至少所述位置處的內(nèi)插虛擬圖像、所述位置處的內(nèi)插水平梯度圖和所述位置處的內(nèi)插垂直梯度圖的組合。

技術領域

本申請總地涉及圖像處理的領域，更具體地涉及用于沉浸式視覺體驗的相機視圖之間的虛擬視圖內(nèi)插。

背景技術

諸如兩個或更多個線狀或柵格排列的相機之類的相機的陣列在諸如平板設備、智能電話設備、膝上型設備、顯示設備、網(wǎng)真系統(tǒng)(telepresence system)和電影攝制和視頻制作系統(tǒng)之類的多種設備實現(xiàn)中正變得越來越常見。在由這種相機陣列生成的觀看體驗的情境中，相機位置之間的中間虛擬視圖被生成并被提供給用戶以便顯示。

持續(xù)目標是在所捕獲的相機視圖之間的位置處高效地并以最小視覺偽像來渲染逼真的虛擬圖像。用于從多個相機圖像渲染虛擬視圖的當前技術包括根據(jù)圖像對場景進行體積3D重建以及使用3D圖形渲染技術來渲染虛擬視圖。然而，3D重建是計算上昂貴的且容易出錯，從而在所渲染的圖像中產(chǎn)生視覺偽像。基于圖像的渲染(IBR)技術避免3D幾何的顯式重建并且替代地根據(jù)所捕獲的圖像直接地渲染虛擬視圖。例如，IBR內(nèi)插可以使用兩個圖像及其像素對應圖(correspondence map)來使圖像翹曲到期望位置。此類技術假定可用于計算機生成的圖像的標準真值對應圖、視差圖(disparity map)或光流(optical flow)、以及虛擬視圖與原始圖像的較小偏移。然而，在有噪聲的視差圖和較大的相機偏移導致不希望的圖像偽像的現(xiàn)實生活場景中常常不滿足此類假設。因此，現(xiàn)有技術尤其在現(xiàn)實生活應用中具有關于計算困難和圖像偽像的缺點。

改進合成中間圖像的視圖以得到增強的用戶體驗可能是有利的。正是考慮到這些和其他考慮事項，所以需要本改進。隨著在相機陣列實現(xiàn)和其他情境中顯示這種圖像或視頻的愿望變得更加普遍，這種改進可能變得關鍵。

發(fā)明內(nèi)容

根據(jù)本申請的一方面，提供了一種用于生成場景的虛擬視圖的設備，所述設備包括：存儲器，所述存儲器用于存儲第一輸入圖像和第二輸入圖像；以及耦合到所述存儲器的處理器，所述處理器用于：使用所述第一輸入圖像和所述第二輸入圖像及其之間的對應圖，來為分別與所述第一輸入圖像和所述第二輸入圖像相對應的第一視圖位置和第二視圖位置之間的所選視圖位置生成第一虛擬圖像；基于在所述第一輸入圖像和所述第二輸入圖像中檢測到的水平梯度和垂直梯度以及所述對應圖，來針對所述所選視圖位置確定水平梯度圖和垂直梯度圖；確定分別表示對所述水平梯度和所述垂直梯度的檢測的水平卷積矩陣和垂直卷積矩陣；將卷積模板應用于虛擬中間梯度圖像，來為所述所選視圖位置生成最終虛擬圖像，所述虛擬中間梯度圖像包括至少所述第一虛擬圖像、所述水平梯度圖和所述垂直梯度圖的組合，所述卷積模板近似至少所述水平卷積矩陣和所述垂直卷積矩陣的線性組合的逆；并且提供所述最終虛擬圖像以呈現(xiàn)給觀看者。

根據(jù)本申請的另一方面，提供了一種用于生成場景的虛擬視圖的方法，所述方法包括：使用第一輸入圖像和第二輸入圖像及其之間的對應圖，來為分別與所述第一輸入圖像和所述第二輸入圖像相對應的第一視圖位置和第二視圖位置之間的所選視圖位置生成第一虛擬圖像；基于在所述第一輸入圖像和所述第二輸入圖像中檢測到的水平梯度和垂直梯度以及所述對應圖，來針對所述所選視圖位置確定水平梯度圖和垂直梯度圖；確定分別表示對所述水平梯度和所述垂直梯度的檢測的水平卷積矩陣和垂直卷積矩陣；將卷積模板應用于虛擬中間梯度圖像，來為所述所選視圖位置生成最終虛擬圖像，所述虛擬中間梯度圖像包括至少所述第一虛擬圖像、所述水平梯度圖和所述垂直梯度圖的組合，所述卷積模板近似至少所述水平卷積矩陣和所述垂直卷積矩陣的線性組合的逆；以及提供所述最終虛擬圖像以呈現(xiàn)給觀看者。