[發明專利]用于沉浸式視覺體驗的相機視圖之間的虛擬視圖內插

在審

• 申請號: 202010116079.X
• 申請日: 2020-02-25
• 公開（公告）號: CN111757080A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 弗拉丹·波波維奇;張帆;奧斯卡·內斯塔雷斯;卡帕娜·塞沙德里納坦
• 申請（專利權）人: 英特爾公司
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/122;H04N13/125;H04N13/239;G06T1/60
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 姜飛

1.一種用于生成場景的虛擬視圖的設備，所述設備包括：

存儲器，所述存儲器用于存儲第一輸入圖像和第二輸入圖像；以及

耦合到所述存儲器的處理器，所述處理器用于：

使用所述第一輸入圖像和所述第二輸入圖像及其之間的對應圖，來為分別與所述第一輸入圖像和所述第二輸入圖像相對應的第一視圖位置和第二視圖位置之間的所選視圖位置生成第一虛擬圖像；

基于在所述第一輸入圖像和所述第二輸入圖像中檢測到的水平梯度和垂直梯度以及所述對應圖，來針對所述所選視圖位置確定水平梯度圖和垂直梯度圖；

確定分別表示對所述水平梯度和所述垂直梯度的檢測的水平卷積矩陣和垂直卷積矩陣；

將卷積模板應用于虛擬中間梯度圖像，來為所述所選視圖位置生成最終虛擬圖像，所述虛擬中間梯度圖像包括至少所述第一虛擬圖像、所述水平梯度圖和所述垂直梯度圖的組合，所述卷積模板近似至少所述水平卷積矩陣和所述垂直卷積矩陣的線性組合的逆；并且

提供所述最終虛擬圖像以呈現給觀看者。

2.根據權利要求1所述的設備，其中，所述水平卷積矩陣和所述垂直卷積矩陣的線性組合包括以下二者之和：所述水平卷積矩陣的轉置和所述水平卷積矩陣的乘積、所述垂直卷積矩陣的轉置和所述垂直卷積矩陣的乘積。

3.根據權利要求2所述的設備，其中，所述線性組合進一步包括加權因子和單位矩陣的乘積，其中，所述加權因子相對于所述最終虛擬圖像的水平梯度和垂直梯度與所述水平梯度圖和所述垂直梯度圖的相似性而對所述最終虛擬圖像與所述第一虛擬圖像的相似性進行加權。

4.根據權利要求1至3中任一項所述的設備，其中，所述虛擬中間梯度圖像包括以下二者之和：所述水平梯度圖與所述水平卷積矩陣的轉置的卷積、所述垂直梯度圖與所述垂直卷積矩陣的轉置的卷積。

5.根據權利要求4所述的設備，其中，所述虛擬中間梯度圖像進一步包括加權因子和所述第一虛擬圖像的乘積，其中，所述加權因子相對于所述最終虛擬圖像的水平梯度和垂直梯度與所述水平梯度圖和所述垂直梯度圖的相似性而對所述最終虛擬圖像與所述第一虛擬圖像的相似性進行加權。

6.根據權利要求1所述的設備，其中，所述水平卷積矩陣和所述垂直卷積矩陣的線性組合包括以下二者之和：所述水平卷積矩陣的轉置和所述水平卷積矩陣的乘積、所述垂直卷積矩陣的轉置和所述垂直卷積矩陣的乘積，并且其中，所述虛擬中間梯度圖像包括以下各項之和：所述水平梯度圖與所述水平卷積矩陣的轉置的卷積、所述垂直梯度圖與所述垂直卷積矩陣的轉置的卷積、以及加權因子和所述第一虛擬圖像的乘積。

7.根據權利要求1至3中任一項所述的設備，其中，所述卷積模板包括濾波器模板，所述濾波器模板具有的尺寸不少于15x15個濾波器權重。

8.根據權利要求1至3中任一項所述的設備，其中，所述卷積模板包括至少第一可分離濾波器和第二可分離濾波器，并且所述處理器應用所述卷積模板包括所述處理器進行以下操作：

將所述第一可分離濾波器應用于所述虛擬梯度圖像，以生成所得到的第一經濾波梯度圖像；

將所述第二可分離濾波器應用于所述虛擬梯度圖像，以生成所得到的第二經濾波梯度圖像；并且

對所述第一經濾波梯度圖像和所述第二經濾波梯度圖像求和，以生成所述最終虛擬圖像。