[發明專利]合成立體視覺圖像內容捕獲

有效

• 申請號: 201880025565.1
• 申請日: 2018-04-27
• 公開（公告）號: CN110546951B
• 公開（公告）日: 2021-10-26
• 發明（設計）人: 杰里米·切爾諾比耶夫;霍曼·梅什金;斯科特·多利姆
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N13/275
• 分類號: H04N13/275
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

提供用于捕獲合成立體視覺內容的系統、方法和計算設備。示例計算設備包括至少一個處理器和存儲器。存儲器存儲使得計算設備接收三維場景的指令。指令還可以使得計算設備重新定位三維場景的頂點，以補償定向立體視覺投射中相機位置的變化，并基于所重新定位的頂點來生成立體視覺圖像。示例方法包括將三維場景投射到左眼圖像立方體和右眼圖像立方體上，以及新定位三維場景的頂點，以針對從單個相機位置進行渲染來調整。所述方法還包括將立體視覺圖像的像素映射到左眼圖像立方體和右眼圖像立方體上的點，以及使用所映射的像素的值來生成立體視覺圖像。

相關申請的交叉引用

本申請要求于2017年4月27日提交的美國申請No.62/491,201的優先權，并通過引用將其全部內容合并于此。

背景技術

全向立體(ODS)是360度立體視覺視頻的投射模型。ODS可以與頭戴式顯示器(HMD)一起使用，以顯示立體視覺影像。通過ODS，可以使用常規視頻格式和工具存儲、編輯和傳輸360度立體視覺視頻。在ODS中，將幀在水平方向上分為頂部的左眼圖像和底部的右眼圖像。左眼和右眼的圖像都是360度圖像，其包括使用等矩形(equirectangular)投射映射到二維(2D)表面的整個視場。

360度立體視覺視頻內容有各種來源。例如，360度立體視覺視頻內容的一個來源是物理360度相機設施。360度立體視覺視頻內容的另一個來源是可生成合成世界的三維(3D)渲染引擎，包括游戲引擎。在一些實施例中，將360度立體視覺視頻實時流送，例如在視頻游戲期間讓其他人共享虛擬現實(VR)體驗或一道跟隨。

用于從諸如游戲引擎的合成來源捕獲360度立體視覺視頻的傳統技術對于內容開發者而言可能是復雜、耗時且容易出錯的，并且對于常規用戶而言可能是完全做不到的。

發明內容

本文獻大體涉及用于捕獲合成立體視覺內容的技術。例如，合成立體視覺內容可通過視頻游戲引擎生成并流送給觀看者。

一個方案是一種包括至少一個處理器和存儲器的計算設備。存儲器存儲指令，所述指令在被至少一個處理器執行時使得計算設備接收三維場景。指令還可以使得計算系統重新定位三維場景的頂點，以補償定向立體視覺投射中相機位置的變化，并基于所重新定位的頂點來生成立體視覺圖像。

另一個方案是一種方法，所述方法包括：將三維場景投射到左眼圖像立方體和右眼圖像立方體上，以及重新定位三維場景的頂點以針對從單個相機位置進行渲染來調整。所述方法還包括：通過基于左眼圖像立方體和右眼圖像立方體確定立體視覺圖像的像素的值來生成立體視覺圖像。

另一個方案是一種方法，所述方法包括：將三維場景投射到等矩形圓柱體上以及確定所投射的三維場景的頂點的左偏移矢量和右偏移矢量。所述方法還包括：復制所投射的三維場景以生成復制場景，以及以統一偏移量偏移復制場景的頂點。所述方法還包括：將左偏移矢量應用于所投射的三維場景和復制場景中的至少一個的頂點；生成所投射的三維場景和復制場景的頂點的齊次坐標；以及投射所投射的三維場景和復制場景的頂點以生成立體視覺圖像。

附圖說明

圖1是示出根據示例實施方式的系統的框圖。

圖2A至圖2D是具有處于各種旋轉的虛擬相機組件的場景的示例俯視圖的示意圖。

圖3是示出根據本文所述實施方式的示例ODS格式圖像文件的構成的示意圖。

圖4是根據本文所述實施方式的示例VR180格式圖像文件的構成的示意圖。

圖5A和圖5B是根據本文所述實施方式，向3D場景的頂點應用偏移的示意圖。

圖6是根據本文所述實施方式，捕獲合成立體視覺內容的示例方法的示意圖。

圖7是根據本文所述實施方式，將3D場景投射到左眼圖像立方體和右眼圖像立方體的表面上的示例的示意圖。