[發明專利]合成立體視覺圖像內容捕獲

有效

• 申請號: 201880025565.1
• 申請日: 2018-04-27
• 公開（公告）號: CN110546951B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 杰里米·切爾諾比耶夫;霍曼·梅什金;斯科特·多利姆
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N13/275
• 分類號: H04N13/275
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

1.一種生成立體視覺圖像的方法，包括：

接收三維場景；

重新定位三維場景的頂點以針對從單個相機位置進行渲染來調整，其中，重新定位所述三維場景的所述頂點包括，對于每個頂點：

識別虛擬瞳孔圓的、與該頂點相交的切線，

基于所識別的切線來確定偏移矢量，以及

基于所述偏移矢量來重新定位該頂點；以及

將重新定位后的三維場景投射到左眼圖像立方體和右眼圖像立方體上；

通過基于所述左眼圖像立方體和所述右眼圖像立方體的表面來確定立體視覺圖像的像素的值，生成所述立體視覺圖像。

2.根據權利要求1所述的方法，其中，重新定位所述三維場景的所述頂點包括：使用GPU的頂點著色器來重新定位所述頂點。

3.根據權利要求1所述的方法，其中，所述基于所述左眼圖像立方體和所述右眼圖像立方體的表面來確定立體視覺圖像的像素的值包括：

將所述左眼圖像立方體和所述右眼圖像立方體上的點映射到所述立體視覺圖像的像素。

4.根據權利要求1所述的方法，其中，基于所識別的切線來確定偏移矢量包括：

基于所識別的切線，在所述虛擬瞳孔圓上識別切點；以及

通過從所述虛擬瞳孔圓的中心減去所述切點來確定所述偏移矢量。

5.根據權利要求3所述的方法，其中，將所述左眼圖像立方體和所述右眼圖像立方體上的點映射到立體視覺圖像的像素包括，對于每個像素：

基于該像素在所述立體視覺圖像內的位置，從所述左眼圖像立方體和所述右眼圖像立方體中選擇圖像立方體；

基于該像素在所述立體視覺圖像內的位置，針對該像素確定射線；以及

向所選擇的圖像立方體投射所述射線以識別交點。

6.根據權利要求1所述的方法，進一步包括：

使用視頻游戲引擎生成所述三維場景；以及

在視頻游戲會話期間將所述立體視覺圖像流送到另一個計算設備。

7.一種計算設備，包括：

至少一個處理器；以及

存儲指令的存儲器，所述指令在被所述至少一個處理器執行時使得所述計算設備：

接收三維場景；

重新定位所述三維場景的頂點，以補償定向立體視覺投射中相機位置的變化，其中，重新定位所述三維場景的所述頂點包括，對于每個頂點：

識別虛擬瞳孔圓的、與該頂點相交的切線，

基于所識別的切線來確定偏移矢量，以及

基于所述偏移矢量來重新定位該頂點；以及

基于所重新定位的頂點來生成立體視覺圖像。

8.根據權利要求7所述的計算設備，其中，所述至少一個處理器包括圖形處理單元，并且所述指令進一步使得所述計算設備使用所述圖形處理單元的頂點著色器來重新定位所述頂點。

9.根據權利要求8所述的計算設備，其中，所述指令進一步使得所述計算設備使用所述圖形處理單元的外殼著色器和域著色器來細分所述三維場景。

10.根據權利要求9所述的計算設備，其中，所述指令進一步使得所述計算設備基于所述三維場景的三角形的邊長來確定用于細分所述三維場景的細分因子。

11.根據權利要求9所述的計算設備，其中，所述指令進一步使得所述計算設備基于所述三維場景的三角形的垂直位置來確定用于細分所述三維場景的細分因子。

12.根據權利要求7所述的計算設備，其中，使得所述計算設備基于所重新定位的頂點來生成立體視覺圖像的指令使得所述計算設備：

將所重新定位的頂點中的至少一部分頂點投射到圖像立方體上；以及

使用所投射的頂點來生成所述立體視覺圖像。

13.根據權利要求7所述的計算設備，其中，所述指令進一步使得所述計算設備：

將所述三維場景的至少一部分投射到等矩形圓柱體投射上；

確定所述三維場景的頂點的左偏移矢量和右偏移矢量；以及

復制所投射的三維場景以形成左場景和右場景；

其中，使得所述計算設備重新定位所述三維場景的頂點的指令包括：使得所述計算設備使用所述左偏移矢量偏移所述左場景的頂點以及使用所述右偏移矢量偏移所述右場景的指令；以及

其中，使得所述計算設備基于所重新定位的頂點來生成立體視覺圖像的指令包括：使得所述計算設備基于所述左場景和所述右場景來生成所述立體視覺圖像的指令。